Déboguer un RAG
Voir les documents récupérés et comprendre une mauvaise réponse.
Observabilité · Formations
Arize AI : observabilité et évaluation des LLM de la découverte à l’expertise
Formation complète sur Arize AI : Phoenix et Arize AX, traces OpenInference, RAG et agents, évaluations par LLM juge, datasets, expériences, prompts, coûts et passage en production.
À votre rythme, par la pratique.À l’issue de cette formation, vous saurez
- Expliquer l'observabilité des LLM et le rôle de Phoenix et d'Arize AX
- Instrumenter une application avec OpenInference
- Tracer et diagnostiquer un RAG et un agent
- Évaluer automatiquement la qualité des réponses et calibrer un LLM juge
- Comparer des versions de prompt ou de modèle par des expériences
- Exploiter l'observabilité LLM en production : sécurité, coûts, monitoring
LEARNING PATH
Programme de la formation
0Vue d'ensemble de la formation1 leçon
1Introduction1 leçon
Observabilité des LLM, Phoenix et Arize AX.
2Tracing et OpenInference3 leçons
3RAG et agents2 leçons
Tracer et diagnostiquer les applications complexes.
4Évaluations2 leçons
5Datasets, expériences et prompts2 leçons
6Production2 leçons
Hébergement, sécurité, coûts et monitoring.
7Bonnes pratiques1 leçon
Les pratiques recommandées pour exploiter le produit en production.
LEARN BY DOING
Cas concrets & applications
Comparer deux prompts
Mesurer sur un dataset avant de déployer.
Détecter les hallucinations
Évaluer automatiquement la fidélité au contexte.
Maîtriser les coûts
Suivre les jetons par conversation et fonctionnalité.
Prérequis conseillés
Et ensuite ?
Questions fréquentes
Qu'est-ce qu'Arize AI ?
Un éditeur d'outils d'observabilité et d'évaluation pour l'IA générative : Phoenix (open source) et Arize AX (plateforme).
Qu'est-ce qu'OpenInference ?
Des conventions et instrumentations OpenTelemetry pour tracer LLM, RAG et agents, utilisées par Phoenix et Arize AX.
Faut-il une clé OpenAI pour les TP ?
Non : un modèle local Ollama, via son API compatible OpenAI, suffit. Une clé OpenAI donne de meilleurs juges pour les évaluations.
Phoenix ou Arize AX ?
Phoenix pour développer, évaluer et expérimenter, auto-hébergé ; Arize AX pour surveiller la production à grande échelle.