Lo que vas a aprender en este TP
- Crear y simular un pipeline
- Desplegar Data Prepper
- Tipar bien los campos
Introducción #
Lo que vas a aprender en esta sección
- Crear y simular un pipeline
- Desplegar Data Prepper
- Tipar bien los campos
Contexto. Tus logs llegan mal estructurados. Los normalizas primero en el clúster y después con un colector dedicado.
Requisitos: la práctica anterior · Duración estimada: 45 min
Datos limpios y bien tipados.Puesta en marcha #
Pasos guiados, con su corrección.
1. Crear y simular un pipeline
¿Por qué?
Crea el pipeline y pruébalo sin indexar nada._simulateevita estropear datos.2. Aplicarlo
¿Por qué? El pipeline se elige al escribir.
Reindexa el lote de la práctica anterior con el pipeline y busca el documento del usuarioalice.3. Preparar los tipos
¿Por qué? Sin plantilla,
Crea la plantilla declientipsería texto y la búsqueda por red fallaría.web-logs.4. Desplegar Data Prepper
¿Por qué? El procesamiento sale del clúster y descarga sus nodos.
Escribepipelines.yaml, añade el servicio e inícialo.5. Enviar y comprobar
¿Por qué? La búsqueda por red demuestra que el tipo
Envía dos líneas de log, espera unos segundos y busca las direcciones deipestá en su sitio.10.0.0.0/8.
Nivel de dificultad : ●●○○○ (2/5)
Mi seguimiento
Inicia sesión para seguir tu progreso y tomar notas. Iniciar sesión
Artículos recomendados
OpenSearch Dashboards, alertes et observabilité
Explorer ses données dans OpenSearch Dashboards, créer des moniteurs d'alerte et découvrir Trace ...
OpenSearch en production : ISM, sauvegardes, sécurité et bonnes pratiques
Automatiser le cycle de vie avec ISM, sauvegarder par snapshots, gérer les rôles et dimensionner ...
Fluent Bit : les inputs (entrées) du pipeline en détail
Tout sur les inputs de Fluent Bit : rôle des tags, lecture de fichiers avec tail (positions, rota...
Ingestion Elasticsearch : Bulk API, ingest pipelines, enrich et reindex
Ingérer et transformer des données dans Elasticsearch : Bulk API, ingest pipelines et processeurs...
Query DSL et agrégations avancées Elasticsearch, avec ES|QL
Écrire des requêtes Elasticsearch avancées : bool, filter et score, nested, function_score et per...
Kibana : rôle, installation et premiers pas
Ce qu'est Kibana dans la suite Elastic, comment l'installer avec Elasticsearch (start-local, Dock...
Monitoring et troubleshooting Elasticsearch : santé, shards non assignés, JVM, hot threads et slow logs
Diagnostiquer un cluster Elasticsearch : cluster health et CAT APIs, shards non assignés et alloc...
Installer OpenSearch et OpenSearch Dashboards
Installer OpenSearch avec Docker Compose ou l'archive : mot de passe initial, vm.max_map_count, c...
Fluent Bit : parsers et filters, structurer et transformer les logs
Structurer et transformer les logs dans Fluent Bit : parsers (json, regex, logfmt, ltsv), parsers...