1. Pourquoi observer une application LLM #
Les outils classiques ne suffisent plus.
Ce qui change #
Une application d'IA générative peut répondre en 200 ms avec un code HTTP 200... et donner une réponse fausse, inventée ou dangereuse. Les métriques classiques (latence, erreurs) restent utiles, mais la vraie question devient : la réponse était-elle bonne ?
| Question | Observabilité classique | Observabilité LLM |
|---|---|---|
| Le service répond-il ? | Oui | Oui |
| Pourquoi cette réponse ? | Non | Prompt complet, documents récupérés, appels d'outils |
| La réponse est-elle correcte, pertinente, sûre ? | Non | Évaluations automatiques et humaines |
| Combien coûte une conversation ? | Partiellement | Jetons par appel, par utilisateur, par fonctionnalité |
| Un nouveau prompt est-il meilleur ? | Non | Expériences sur un dataset de référence |
2. Phoenix et Arize AX #
Deux produits, un même modèle de données.
Architecture #
| Phoenix | Arize AX | |
|---|---|---|
| Nature | Open source, auto-hébergé ou Phoenix Cloud | Plateforme SaaS (ou déploiement dédié) |
| Usage typique | Développement, débogage, évaluation, expériences | Production à grande échelle |
| Traces et évaluations | Oui | Oui |
| Datasets, expériences, prompts | Oui | Oui |
| Évaluations en ligne continues, monitors, alertes, tableaux de bord | Limité | Oui |
| Assistant IA (Alyx) | Non | Oui |
À savoir : Le périmètre exact de chaque produit évolue vite : vérifiez la documentation d'Arize avant de choisir, en particulier pour les évaluations en ligne et l'alerting.
3. Les concepts #
Le vocabulaire commun.
Vocabulaire #
| Concept | Définition |
|---|---|
| Project | Regroupement des traces d'une application |
| Trace, span | Une requête de bout en bout et ses étapes (appel LLM, recherche de documents, outil) |
| Session | Une conversation : plusieurs traces reliées par session.id |
| Évaluation (eval) | Un jugement sur une réponse : par un LLM juge, par du code ou par un humain |
| Annotation | Une étiquette ou un score attaché à un span (correct, hallucination, note 1 à 5) |
| Dataset | Un ensemble d'exemples (entrées, sorties attendues), souvent extrait des traces |
| Experiment | L'exécution d'une version de l'application sur un dataset, notée par des évaluateurs |
| Prompt | Un gabarit versionné, testé dans le playground puis utilisé par l'application |
