TP : Logstash en production (file persistante, DLQ, multi-pipelines)

Ce que vous allez apprendre dans ce TP

• Déclarer plusieurs pipelines
• Activer la file persistante et la DLQ
• Provoquer et lire un rejet
• Superviser Logstash

Introduction #

Ce que vous allez apprendre dans cette section

• Déclarer plusieurs pipelines
• Activer la file persistante et la DLQ
• Provoquer et lire un rejet
• Superviser Logstash

Contexte. Des documents disparaissent entre Logstash et Elasticsearch. Vous mettez en place une file persistante et une DLQ pour ne plus rien perdre, et vous apprenez à retrouver les rejets.

Prérequis : Docker et Docker Compose, 4 Go de RAM libres, jq  ·  Durée estimée : 45 min

Mise en place #

Étapes guidées, avec leur correction.

1. 1. Les fichiers du labo

   Pourquoi ? Le pipeline « web » écrit dans le data stream logs-web-lab ; le pipeline « dlq » relit ses rejets.

2. 2. Un mapping strict

   Pourquoi ? Le champ status est déclaré entier : un statut non numérique sera refusé par Elasticsearch, ce qui alimentera la DLQ.

3. 3. Envoyer des événements

   Envoyez trois événements valides et un événement dont le statut n'est pas numérique.

4. 4. Lire la DLQ

   Pourquoi ? Le document refusé n'est pas perdu : le pipeline « dlq » l'affiche avec la raison du refus.

5. 5. Superviser et éprouver la file

   Consultez les statistiques du pipeline, arrêtez Elasticsearch, envoyez des événements, puis redémarrez-le : ils sont livrés.

Niveau de difficulté : ●●●○○ (3/5)