TP : Pipeline d'ingestion et Data Prepper

Ce que vous allez apprendre dans ce TP

• Créer et simuler un pipeline
• Déployer Data Prepper
• Typer correctement les champs

Introduction #

Ce que vous allez apprendre dans cette section

• Créer et simuler un pipeline
• Déployer Data Prepper
• Typer correctement les champs

Contexte. Vos logs arrivent mal structurés. Vous les normalisez d'abord dans le cluster, puis avec un collecteur dédié.

Prérequis : le TP précédent  ·  Durée estimée : 45 min

Des données propres et bien typées.

Mise en place #

Étapes guidées, avec leur correction.

1. 1. Créer et simuler un pipeline

   Pourquoi ? _simulate évite d'abîmer des données.

   Créez le pipeline, puis testez-le sans rien indexer.

2. 2. L'appliquer

   Pourquoi ? Le pipeline se choisit à l'écriture.

   Réindexez le lot du TP précédent avec le pipeline, et retrouvez le document de l'utilisateur alice.

3. 3. Préparer le typage

   Pourquoi ? Sans modèle, clientip serait du texte et la recherche par réseau échouerait.

   Créez le modèle de web-logs.

4. 4. Déployer Data Prepper

   Pourquoi ? Le traitement sort du cluster et décharge ses nœuds.

   Écrivez pipelines.yaml, ajoutez le service et démarrez-le.

5. 5. Envoyer et vérifier

   Pourquoi ? La recherche par réseau prouve que le type ip est bien en place.

   Envoyez deux lignes de log, attendez quelques secondes, puis cherchez les adresses de 10.0.0.0/8.

Niveau de difficulté : ●●○○○ (2/5)