1. Instrumenter #
Des traces exploitables.
Principes #
- Instrumentation automatique OpenInference pour les SDK et frameworks, spans manuels pour les étapes maison.
session.id,user.id(pseudonymisé), version de l'application et fonctionnalité sur chaque trace.- Un span racine qui porte la question et la réponse finale.
- Masquage des données sensibles avant stockage ; accès aux traces restreint.
2. Évaluer #
Mesurer la qualité.
Règles #
- Évaluations par code d'abord (format, refus, longueur), LLM juge ensuite.
- Juge calibré sur un jeu annoté à la main, avec explications.
- Des critères séparés (pertinence, fidélité au contexte, ton) plutôt qu'une note globale.
- Les traces mal notées alimentent les datasets.
3. Changer sans régresser #
La méthode.
Méthode #
- Dataset de non-régression contenant les erreurs passées.
- Expérience obligatoire avant tout changement de prompt, de modèle ou de paramètres de recherche.
- Prompts versionnés et reliés aux traces.
- Suivi des coûts en jetons par fonctionnalité.
Schéma de référence et vérification rapide #
Check-list.
Check-list #
- OpenInference installé et
register()au démarrage - Sessions, utilisateurs et versions renseignés
- Masquage et rétention définis
- Évaluations par code et LLM juge calibré
- Dataset de non-régression et expériences
- Monitors sur la qualité, la latence et le coût
