TP : Pipeline de logs, facettes et maîtrise du volume avec correction

Ce que vous allez apprendre dans ce TP

• Créer un pipeline grok
• Créer facettes et métriques générées
• Ajouter un filtre d'exclusion

Introduction #

Ce que vous allez apprendre dans cette section

• Créer un pipeline grok
• Créer facettes et métriques générées
• Ajouter un filtre d'exclusion

Contexte. Les logs d'une application arrivent en texte brut et coûtent cher à l'indexation. Vous les rendez exploitables et réduisez leur coût.

Prérequis : TP 1 terminé  ·  Durée estimée : 45 min

Des logs utiles à moindre coût.

Mise en place #

Étapes guidées, avec leur correction.

1. 1. Produire des logs

   Pourquoi ? Un conteneur qui écrit des lignes au format connu, dont des erreurs.

   Lancez un générateur de logs étiqueté service:paiement.
   Voir la correction

   docker run -d --name paiement -l com.datadoghq.ad.logs='[{"source": "paiement", "service": "paiement"}]' busybox \
     sh -c 'while true; do echo "$(date -Iseconds) INFO paiement accepte montant=$((RANDOM % 300)) client=c$((RANDOM % 50))";
            [ $((RANDOM % 10)) -eq 0 ] && echo "$(date -Iseconds) ERROR paiement refuse montant=$((RANDOM % 300)) motif=fonds"; sleep 1; done'

2. 2. Créer le pipeline

   Pourquoi ? Le grok parser transforme la ligne en attributs filtrables.

   Dans Logs > Pipelines, créez un pipeline filtré sur source:paiement avec un grok parser, puis un status remapper sur l'attribut niveau.
   Voir la correction

   regle %{notSpace:date} %{word:niveau} paiement %{word:resultat} montant=%{integer:montant}( client=%{notSpace:client})?( motif=%{word:motif})?

3. 3. Facettes et mesure

   Pourquoi ? Une facette filtre, une mesure s'agrège.

   Créez une facette sur @resultat et une mesure sur @montant, puis affichez la somme des montants refusés par minute dans l'explorateur.
   Voir la correction

   service:paiement @resultat:refuse

4. 4. Métrique générée

   Pourquoi ? Une métrique générée continue de fonctionner même pour les logs non indexés.

   Créez une métrique paiement.refus (Generate Metrics) qui compte les logs @resultat:refuse, regroupée par @motif.
   Voir la correction

   La métrique peut alimenter un monitor sans dépendre de l'indexation.

5. 5. Filtre d'exclusion

   Pourquoi ? Les paiements acceptés sont nombreux et rarement consultés.

   Dans l'index principal, ajoutez un filtre d'exclusion qui n'indexe que 10 % des logs service:paiement @resultat:accepte. Vérifiez dans Usage la baisse du volume indexé.
   Voir la correction

   Les erreurs restent indexées à 100 % ; les succès sont échantillonnés. La métrique générée continue de compter tous les refus.

Niveau de difficulté : ●●●○○ (3/5)