TP : Logs OpenTelemetry corrélés aux traces et collecte de fichiers

Ce que vous allez apprendre dans ce TP

• Brancher un logger existant sur OpenTelemetry
• Corréler logs et traces
• Collecter des fichiers avec filelog

Introduction #

Ce que vous allez apprendre dans cette section

• Brancher un logger existant sur OpenTelemetry
• Corréler logs et traces
• Collecter des fichiers avec filelog

Contexte. Les logs de facturation sont des fichiers texte que personne ne relie aux traces. Vous branchez le service moderne sur OpenTelemetry et récupérez les logs de l'application historique sans la modifier.

Prérequis : Docker et Python 3.10 ou plus ; la pile grafana/otel-lgtm (Collector, Tempo, Loki, Prometheus, Pyroscope et Grafana dans un seul conteneur)  ·  Durée estimée : 45 min

Des logs structurés, corrélés aux traces, issus des deux voies de collecte.

Mise en place #

Étapes guidées, avec leur correction.

1. 1. Démarrer la pile d'observabilité

   Pourquoi ? Une seule image fournit un Collector OTLP et tous les backends : on se concentre sur le signal.

   Lancez grafana/otel-lgtm, créez un environnement Python et pointez les exportateurs vers le port OTLP/HTTP 4318.

2. 2. Brancher le module logging

   Pourquoi ? Le LoggingHandler transforme chaque appel logging en LogRecord OpenTelemetry, avec le contexte de trace actif.

   Écrivez facturation.py : un LoggerProvider avec exportateur OTLP, un handler ajouté au logger racine, un TracerProvider, et des logs INFO et ERROR émis à l'intérieur de spans.

3. 3. Interroger et corréler dans Grafana

   Pourquoi ? Le trace_id porté par chaque log permet de passer du log à la trace et inversement.

   Dans Explore > Loki, affichez les erreurs du service, dépliez une ligne et repérez trace_id, span_id, la sévérité et vos attributs. Ouvrez la trace liée, puis depuis un span Tempo affichez ses logs.

4. 4. Collecter les logs d'une application historique

   Pourquoi ? Sans toucher au code, le receiver filelog lit les fichiers, parse le JSON, la sévérité et le contexte de trace.

   Générez un fichier de logs JSON, puis lancez un Collector contrib sur le même réseau que la pile, avec filelog, json_parser, trace_parser et un processeur resource qui fixe service.name.

5. 5. Réduire et masquer

   Pourquoi ? Le Collector supprime le bruit et les données personnelles avant le stockage.

   Ajoutez un processeur filter qui supprime les logs INFO et un transform qui masque les adresses e-mail dans le corps, puis vérifiez dans Loki.

Niveau de difficulté : ●●●○○ (3/5)