TP : Parser, filtrer et enrichir des logs JSON

Ce que vous allez apprendre dans ce TP

• Extraire des champs JSON
• Choisir de bons labels
• Supprimer le bruit
• Masquer des données sensibles

Introduction #

Ce que vous allez apprendre dans cette section

• Extraire des champs JSON
• Choisir de bons labels
• Supprimer le bruit
• Masquer des données sensibles

Contexte. Une application de boutique écrit des logs JSON qui contiennent parfois des numéros de carte bancaire et beaucoup de bruit (healthchecks, debug). Avant de les envoyer à Loki, il faut les structurer, les nettoyer et masquer les données sensibles pour rester conforme au RGPD.

Prérequis : TP « Collecte et expédition des logs » réalisé  ·  Durée estimée : 40 min

L'application génère des logs JSON dans /var/log/shop/app.log, par exemple : {"time":"2026-05-10T10:00:00Z","level":"error","path":"/health","message":"card 4111111111111111 refused"}. Il faut les exploiter proprement dans Loki.

Le pipeline de traitement #

Chaque étape correspond à un stage de loki.process.

1. 1. Extraire les champs JSON

   Pourquoi ? Sans extraction, la ligne est une chaîne opaque : en extrayant les champs, on peut filtrer, étiqueter et réutiliser leurs valeurs dans les étapes suivantes.

   Utilisez stage.json pour extraire time, level, path et message dans les données extraites.

2. 2. Positionner le timestamp et le label level

   Pourquoi ? Le bon timestamp est celui de l'événement, pas celui de la collecte ; quant aux labels, ils doivent rester peu nombreux car chacun multiplie les flux stockés.

   Utilisez la date du log comme horodatage officiel (format RFC3339) et promouvez level en label. Pourquoi ne pas faire de même avec path ?

3. 3. Supprimer le bruit

   Pourquoi ? Les healthchecks et les logs de debug représentent souvent la majorité du volume sans aucune valeur : les supprimer réduit le coût et rend les recherches plus pertinentes.

   Éliminez les lignes de healthcheck (path égal à /health) ainsi que tous les logs de niveau debug.

4. 4. Masquer les données sensibles

   Pourquoi ? Une donnée personnelle stockée dans Loki devient très difficile à supprimer : le plus sûr est de la masquer avant l'envoi, dans le pipeline.

   Les numéros de carte (16 chiffres) ne doivent jamais atteindre Loki. Remplacez-les par **** dans le contenu de la ligne avec stage.replace.

5. 5. Assembler et tester

   Pourquoi ? Tester avec des lignes réelles (et un cas à masquer, un cas à supprimer) vérifie que chaque étape fait bien son travail et dans le bon ordre.

   Assemblez les stages dans un composant loki.process, branchez la lecture du fichier et loki.write, puis générez quelques lignes pour valider le résultat dans Loki.

Niveau de difficulté : ●●●○○ (3/5)