RousselTMLEARNING
FR
FrançaisEnglishEspañol
Connexion

Observabilité · Formations

Arize AI : observabilité et évaluation des LLM de la découverte à l’expertise

Formation complète sur Arize AI : Phoenix et Arize AX, traces OpenInference, RAG et agents, évaluations par LLM juge, datasets, expériences, prompts, coûts et passage en production.

8 chapitres14 leçonsFR
À votre rythme, par la pratique.

À l’issue de cette formation, vous saurez

  • Expliquer l'observabilité des LLM et le rôle de Phoenix et d'Arize AX
  • Instrumenter une application avec OpenInference
  • Tracer et diagnostiquer un RAG et un agent
  • Évaluer automatiquement la qualité des réponses et calibrer un LLM juge
  • Comparer des versions de prompt ou de modèle par des expériences
  • Exploiter l'observabilité LLM en production : sécurité, coûts, monitoring

🎯 Niveau : Intermédiaire👥 Public visé : Développeurs d'applications d'IA, ingénieurs MLOps et LLMOps, SRE et équipes produit qui mettent en production des LLM, RAG ou agents

LEARNING PATH

Programme de la formation

0Vue d'ensemble de la formation1 leçon
  1. QCM d’évaluationQCM · ⏱ 10 min
1Introduction1 leçon

Observabilité des LLM, Phoenix et Arize AX.

  1. Arize AI : observabilité et évaluation des LLMArticle · ⏱ 3 min
2Tracing et OpenInference3 leçons

Conventions, installation et premières traces.

  1. OpenInference : tracer les applications d'IAArticle · ⏱ 12 min
  2. Installer Phoenix et tracer une applicationArticle · ⏱ 6 min
  3. TP : Installer Phoenix et tracer une première application LLMTravaux pratiques · ⏱ 35 min · Niveau 2/5
3RAG et agents2 leçons

Tracer et diagnostiquer les applications complexes.

  1. Tracer un RAG et un agentArticle · ⏱ 6 min
  2. TP : Tracer un RAG et des sessionsTravaux pratiques · ⏱ 45 min · Niveau 3/5
4Évaluations2 leçons

Code, LLM juge et annotations.

  1. Évaluer avec des LLM jugesArticle · ⏱ 6 min
  2. TP : Évaluer les réponses avec du code et un LLM jugeTravaux pratiques · ⏱ 45 min · Niveau 3/5
5Datasets, expériences et prompts2 leçons

Améliorer sans régresser.

  1. Datasets, expériences et promptsArticle · ⏱ 6 min
  2. TP : Comparer deux prompts par une expérienceTravaux pratiques · ⏱ 45 min · Niveau 4/5
6Production2 leçons

Hébergement, sécurité, coûts et monitoring.

  1. Arize en productionArticle · ⏱ 6 min
  2. TP Final : Observabilité LLM de production avec PhoenixTravaux pratiques · ⏱ 1 h · Niveau 4/5
7Bonnes pratiques1 leçon

Les pratiques recommandées pour exploiter le produit en production.

  1. Bonnes pratiques Arize et OpenInferenceArticle · ⏱ 4 min

LEARN BY DOING

Cas concrets & applications

Déboguer un RAG

Voir les documents récupérés et comprendre une mauvaise réponse.

Comparer deux prompts

Mesurer sur un dataset avant de déployer.

Détecter les hallucinations

Évaluer automatiquement la fidélité au contexte.

Maîtriser les coûts

Suivre les jetons par conversation et fonctionnalité.

Prérequis conseillés

Opentelemetry : de la découverte à l'expertise

Et ensuite ?

Grafana Tempo : de la découverte à l'expertiseBindplane : pipelines de télémétrie OpenTelemetry de la découverte à l'expertiseObservabilité avec eBPF : de la découverte à l'expertise

Questions fréquentes

Qu'est-ce qu'Arize AI ?

Un éditeur d'outils d'observabilité et d'évaluation pour l'IA générative : Phoenix (open source) et Arize AX (plateforme).

Qu'est-ce qu'OpenInference ?

Des conventions et instrumentations OpenTelemetry pour tracer LLM, RAG et agents, utilisées par Phoenix et Arize AX.

Faut-il une clé OpenAI pour les TP ?

Non : un modèle local Ollama, via son API compatible OpenAI, suffit. Une clé OpenAI donne de meilleurs juges pour les évaluations.

Phoenix ou Arize AX ?

Phoenix pour développer, évaluer et expérimenter, auto-hébergé ; Arize AX pour surveiller la production à grande échelle.