RousselTMLEARNING

Observabilité

Data Prepper avancé : routage, OpenTelemetry et fiabilité

Aller plus loin avec Data Prepper : architecture, tampons et workers, processeurs conditionnels, routage vers plusieurs index, sources S3 et Kafka, réception OpenTelemetry des traces, logs et métriques, file des rejets, supervision et dimensionnement.

1. L'architecture #

Sources, tampon, processeurs, sinks.

Vue d'ensemble #

Architecture de Data Prepper
ÉlémentRôleRéglages clés
sourcereçoit (http, otel_*, otlp) ou tire (s3, kafka) les donnéesport, ssl, path
bufferabsorbe les pics entre source et processeursbuffer_size, batch_size
processortransforme, enrichit, filtreworkers, delay
routenomme des conditions réutilisées par les sinksexpressions
sinkécrit dans OpenSearch, S3, un autre pipeline…index, bulk_size, dlq

2. Transformer avec des conditions #

Processeurs et expressions.

Un pipeline complet #

app-pipeline:
  workers: 2
  delay: 100
  source:
    http:
      port: 2021
      path: /logs
      ssl: false
  buffer:
    bounded_blocking:
      buffer_size: 4096
      batch_size: 256
  processor:
    - parse_json:
        source: message
    - drop_events:
        drop_when: '/level == "DEBUG"'
    - add_entries:
        entries:
          - key: environnement
            value: prod
    - date:
        match:
          - key: time
            patterns: ["yyyy-MM-dd'T'HH:mm:ss.SSSXXX"]
        destination: "@timestamp"
    - delete_entries:
        with_keys: ["message", "time"]
  route:
    - erreurs: '/level == "ERROR" or /level == "FATAL"'
    - paiement: '/service == "paiement"'
  sink:
    - opensearch:
        hosts: ["https://opensearch:9200"]
        username: ingest_dp
        password: "${OS_PASSWORD}"
        insecure: true
        index: logs-erreurs-%{yyyy.MM.dd}
        routes: [erreurs]
    - opensearch:
        hosts: ["https://opensearch:9200"]
        username: ingest_dp
        password: "${OS_PASSWORD}"
        insecure: true
        index: logs-app-%{yyyy.MM.dd}

Les erreurs vont dans un index dédié et dans l'index général (le second sink n'a pas de route, il reçoit tout). Les expressions utilisent des chemins JSON (/level) et les opérateurs ==, !=, and, or, not, =~ (expression régulière).

Processeurs utiles #

ProcesseurRôle
grok, parse_json, key_value, csvextraire des champs
date, convert_typetyper les valeurs
add_entries, rename_keys, delete_entries, copy_valuesremodeler l'événement
drop_eventsjeter selon une condition
aggregateregrouper sur une fenêtre (compter, dédoublonner)
obfuscatemasquer des données personnelles
geoiplocaliser une adresse IP
anomaly_detectorrepérer des valeurs anormales dans le flux

3. OpenTelemetry #

Traces, logs et métriques.

Le chemin #

OpenTelemetry vers OpenSearch

Les applications envoient l'OTLP à un OTel Collector, qui regroupe et filtre, puis transmet à Data Prepper. Les traces alimentent les index otel-v1-apm-span-* et otel-v2-apm-service-map exploités par Trace Analytics.

Collector vers Data Prepper #

receivers:
  otlp:
    protocols:
      grpc: {endpoint: 0.0.0.0:4317}
      http: {endpoint: 0.0.0.0:4318}
processors:
  batch: {}
exporters:
  otlp/traces:
    endpoint: data-prepper:21890
    tls: {insecure: true}
  otlp/logs:
    endpoint: data-prepper:21892
    tls: {insecure: true}
service:
  pipelines:
    traces: {receivers: [otlp], processors: [batch], exporters: [otlp/traces]}
    logs:   {receivers: [otlp], processors: [batch], exporters: [otlp/logs]}
otel-logs-pipeline:
  source:
    otel_logs_source:
      ssl: false
  sink:
    - opensearch:
        hosts: ["https://opensearch:9200"]
        username: ingest_dp
        password: "${OS_PASSWORD}"
        insecure: true
        index_type: custom
        index: otel-logs-%{yyyy.MM.dd}
À savoir : Les ports par défaut de Data Prepper sont 21890 (traces), 21891 (métriques) et 21892 (logs). Les versions récentes proposent aussi une source otlp unique pour les trois signaux : vérifiez sa disponibilité dans votre version.

4. Fiabilité et exploitation #

Ne rien perdre, tout voir.

Ne rien perdre #

  • Tampon : dimensionnez buffer_size pour absorber une coupure courte d'OpenSearch ; au-delà, la source renvoie une erreur (HTTP 408 ou 429) et le client doit réessayer.
  • File des rejets (DLQ) : l'option dlq du sink opensearch écrit dans S3 les documents refusés (mapping incompatible…) au lieu de les perdre.
  • Sources en tirage (S3 avec notifications SQS, Kafka) : la donnée reste à la source tant qu'elle n'est pas traitée, c'est le plus robuste.
    - opensearch:
        hosts: ["https://opensearch:9200"]
        index: logs-app-%{yyyy.MM.dd}
        dlq:
          s3:
            bucket: dp-rejets
            key_path_prefix: app-pipeline/
            region: eu-west-3

Superviser #

Data Prepper expose ses métriques au format Prometheus sur le port 4900 : enregistrements reçus, écrits, rejetés, taux de remplissage du tampon, durée des lots.

curl -s localhost:4900/metrics/prometheus | grep -E 'recordsIn|recordsOut|documentErrors|bufferUsage' | head
curl -s localhost:4900/list   # pipelines chargés
Bonne Pratique : Alertez sur deux signaux : un tampon qui reste plein (OpenSearch n'absorbe plus) et un compteur de documents en erreur qui monte (mapping cassé).

Commandes à connaître #

Commandes à connaître
  • docker run -p 2021:2021 -p 21890:21890 -v ./pipelines.yaml:/usr/share/data-prepper/pipelines/pipelines.yaml opensearchproject/data-prepper:2 : lancer Data Prepper
  • curl -s localhost:4900/list : pipelines chargés
  • curl -s localhost:4900/metrics/prometheus : métriques
  • curl -X POST localhost:2021/logs -H 'Content-Type: application/json' -d '[{"message":"…"}]' : envoyer des logs de test

Sources #

Vérifié en novembre 2026 (OpenSearch 3.x, Data Prepper 2.x) : OpenSearch publie une version mineure environ toutes les six semaines, consultez les notes de version avant de vous appuyer sur un détail.

Articles liés

Le cluster OpenSearch en détail : nœuds, shards et réplication

Comprendre le fonctionnement interne d'un cluster OpenSearch : rôles des nœuds, élection du cluster manager, …

Recherche plein texte dans OpenSearch : analyseurs et pertinence

Maîtriser la recherche plein texte : index inversé, analyseurs (dont le français), API _analyze, requêtes mat…

Agrégations, PPL et SQL avancés dans OpenSearch

Analyser ses données dans OpenSearch : agrégations bucket, metric et pipeline, histogrammes de dates, cardina…

Pour aller plus loin

Soutenir

♥ SOUTENIR

Soutenez RousselTM Learning

Les formations, articles, TP et attestations restent gratuits et sans publicité intrusive. Une contribution libre, du montant de votre choix, finance l’hébergement, les environnements de TP et l’écriture de nouveaux contenus.

Contribuer avec PayPal Montant libre · carte bancaire ou compte PayPalEn savoir plus
QR code PayPal
Ou scannez ce QR code avec votre téléphone

Merci, chaque contribution compte !