Práctica: pipeline de ingesta y Data Prepper

Lo que vas a aprender en este TP

• Crear y simular un pipeline
• Desplegar Data Prepper
• Tipar bien los campos

Introducción #

Lo que vas a aprender en esta sección

• Crear y simular un pipeline
• Desplegar Data Prepper
• Tipar bien los campos

Contexto. Tus logs llegan mal estructurados. Los normalizas primero en el clúster y después con un colector dedicado.

Requisitos: la práctica anterior  ·  Duración estimada: 45 min

Datos limpios y bien tipados.

Puesta en marcha #

Pasos guiados, con su corrección.

1. 1. Crear y simular un pipeline

   ¿Por qué? _simulate evita estropear datos.

   Crea el pipeline y pruébalo sin indexar nada.

2. 2. Aplicarlo

   ¿Por qué? El pipeline se elige al escribir.

   Reindexa el lote de la práctica anterior con el pipeline y busca el documento del usuario alice.

3. 3. Preparar los tipos

   ¿Por qué? Sin plantilla, clientip sería texto y la búsqueda por red fallaría.

   Crea la plantilla de web-logs.

4. 4. Desplegar Data Prepper

   ¿Por qué? El procesamiento sale del clúster y descarga sus nodos.

   Escribe pipelines.yaml, añade el servicio e inícialo.

5. 5. Enviar y comprobar

   ¿Por qué? La búsqueda por red demuestra que el tipo ip está en su sitio.

   Envía dos líneas de log, espera unos segundos y busca las direcciones de 10.0.0.0/8.

Nivel de dificultad : ●●○○○ (2/5)