TP : Pipeline de logs, facettes et maîtrise du volume

Ce que vous allez apprendre dans ce TP

• Créer un pipeline grok
• Créer facettes et métriques générées
• Ajouter un filtre d'exclusion

Introduction #

Ce que vous allez apprendre dans cette section

• Créer un pipeline grok
• Créer facettes et métriques générées
• Ajouter un filtre d'exclusion

Contexte. Les logs d'une application arrivent en texte brut et coûtent cher à l'indexation. Vous les rendez exploitables et réduisez leur coût.

Prérequis : TP 1 terminé  ·  Durée estimée : 45 min

Des logs utiles à moindre coût.

Mise en place #

Étapes guidées, avec leur correction.

1. 1. Produire des logs

   Pourquoi ? Un conteneur qui écrit des lignes au format connu, dont des erreurs.

   Lancez un générateur de logs étiqueté service:paiement.

2. 2. Créer le pipeline

   Pourquoi ? Le grok parser transforme la ligne en attributs filtrables.

   Dans Logs > Pipelines, créez un pipeline filtré sur source:paiement avec un grok parser, puis un status remapper sur l'attribut niveau.

3. 3. Facettes et mesure

   Pourquoi ? Une facette filtre, une mesure s'agrège.

   Créez une facette sur @resultat et une mesure sur @montant, puis affichez la somme des montants refusés par minute dans l'explorateur.

4. 4. Métrique générée

   Pourquoi ? Une métrique générée continue de fonctionner même pour les logs non indexés.

   Créez une métrique paiement.refus (Generate Metrics) qui compte les logs @resultat:refuse, regroupée par @motif.

5. 5. Filtre d'exclusion

   Pourquoi ? Les paiements acceptés sont nombreux et rarement consultés.

   Dans l'index principal, ajoutez un filtre d'exclusion qui n'indexe que 10 % des logs service:paiement @resultat:accepte. Vérifiez dans Usage la baisse du volume indexé.

Niveau de difficulté : ●●●○○ (3/5)