1. L'architecture #
Sources, tampon, processeurs, sinks.
Vue d'ensemble #
| Élément | Rôle | Réglages clés |
|---|---|---|
| source | reçoit (http, otel_*, otlp) ou tire (s3, kafka) les données | port, ssl, path |
| buffer | absorbe les pics entre source et processeurs | buffer_size, batch_size |
| processor | transforme, enrichit, filtre | workers, delay |
| route | nomme des conditions réutilisées par les sinks | expressions |
| sink | écrit dans OpenSearch, S3, un autre pipeline… | index, bulk_size, dlq |
2. Transformer avec des conditions #
Processeurs et expressions.
Un pipeline complet #
app-pipeline:
workers: 2
delay: 100
source:
http:
port: 2021
path: /logs
ssl: false
buffer:
bounded_blocking:
buffer_size: 4096
batch_size: 256
processor:
- parse_json:
source: message
- drop_events:
drop_when: '/level == "DEBUG"'
- add_entries:
entries:
- key: environnement
value: prod
- date:
match:
- key: time
patterns: ["yyyy-MM-dd'T'HH:mm:ss.SSSXXX"]
destination: "@timestamp"
- delete_entries:
with_keys: ["message", "time"]
route:
- erreurs: '/level == "ERROR" or /level == "FATAL"'
- paiement: '/service == "paiement"'
sink:
- opensearch:
hosts: ["https://opensearch:9200"]
username: ingest_dp
password: "${OS_PASSWORD}"
insecure: true
index: logs-erreurs-%{yyyy.MM.dd}
routes: [erreurs]
- opensearch:
hosts: ["https://opensearch:9200"]
username: ingest_dp
password: "${OS_PASSWORD}"
insecure: true
index: logs-app-%{yyyy.MM.dd}Les erreurs vont dans un index dédié et dans l'index général (le second sink n'a pas de route, il reçoit tout). Les expressions utilisent des chemins JSON (/level) et les opérateurs ==, !=, and, or, not, =~ (expression régulière).
Processeurs utiles #
| Processeur | Rôle |
|---|---|
| grok, parse_json, key_value, csv | extraire des champs |
| date, convert_type | typer les valeurs |
| add_entries, rename_keys, delete_entries, copy_values | remodeler l'événement |
| drop_events | jeter selon une condition |
| aggregate | regrouper sur une fenêtre (compter, dédoublonner) |
| obfuscate | masquer des données personnelles |
| geoip | localiser une adresse IP |
| anomaly_detector | repérer des valeurs anormales dans le flux |
3. OpenTelemetry #
Traces, logs et métriques.
Le chemin #
Les applications envoient l'OTLP à un OTel Collector, qui regroupe et filtre, puis transmet à Data Prepper. Les traces alimentent les index otel-v1-apm-span-* et otel-v2-apm-service-map exploités par Trace Analytics.
Collector vers Data Prepper #
receivers:
otlp:
protocols:
grpc: {endpoint: 0.0.0.0:4317}
http: {endpoint: 0.0.0.0:4318}
processors:
batch: {}
exporters:
otlp/traces:
endpoint: data-prepper:21890
tls: {insecure: true}
otlp/logs:
endpoint: data-prepper:21892
tls: {insecure: true}
service:
pipelines:
traces: {receivers: [otlp], processors: [batch], exporters: [otlp/traces]}
logs: {receivers: [otlp], processors: [batch], exporters: [otlp/logs]}otel-logs-pipeline:
source:
otel_logs_source:
ssl: false
sink:
- opensearch:
hosts: ["https://opensearch:9200"]
username: ingest_dp
password: "${OS_PASSWORD}"
insecure: true
index_type: custom
index: otel-logs-%{yyyy.MM.dd}À savoir : Les ports par défaut de Data Prepper sont 21890 (traces), 21891 (métriques) et 21892 (logs). Les versions récentes proposent aussi une source otlp unique pour les trois signaux : vérifiez sa disponibilité dans votre version.4. Fiabilité et exploitation #
Ne rien perdre, tout voir.
Ne rien perdre #
- Tampon : dimensionnez
buffer_sizepour absorber une coupure courte d'OpenSearch ; au-delà, la source renvoie une erreur (HTTP 408 ou 429) et le client doit réessayer. - File des rejets (DLQ) : l'option
dlqdu sink opensearch écrit dans S3 les documents refusés (mapping incompatible…) au lieu de les perdre. - Sources en tirage (S3 avec notifications SQS, Kafka) : la donnée reste à la source tant qu'elle n'est pas traitée, c'est le plus robuste.
- opensearch:
hosts: ["https://opensearch:9200"]
index: logs-app-%{yyyy.MM.dd}
dlq:
s3:
bucket: dp-rejets
key_path_prefix: app-pipeline/
region: eu-west-3Superviser #
Data Prepper expose ses métriques au format Prometheus sur le port 4900 : enregistrements reçus, écrits, rejetés, taux de remplissage du tampon, durée des lots.
curl -s localhost:4900/metrics/prometheus | grep -E 'recordsIn|recordsOut|documentErrors|bufferUsage' | head
curl -s localhost:4900/list # pipelines chargésBonne Pratique : Alertez sur deux signaux : un tampon qui reste plein (OpenSearch n'absorbe plus) et un compteur de documents en erreur qui monte (mapping cassé).
Commandes à connaître #
Commandes à connaître
docker run -p 2021:2021 -p 21890:21890 -v ./pipelines.yaml:/usr/share/data-prepper/pipelines/pipelines.yaml opensearchproject/data-prepper:2: lancer Data Preppercurl -s localhost:4900/list: pipelines chargéscurl -s localhost:4900/metrics/prometheus: métriquescurl -X POST localhost:2021/logs -H 'Content-Type: application/json' -d '[{"message":"…"}]': envoyer des logs de test
Sources #
Vérifié en novembre 2026 (OpenSearch 3.x, Data Prepper 2.x) : OpenSearch publie une version mineure environ toutes les six semaines, consultez les notes de version avant de vous appuyer sur un détail.
