La correction est intégrée au TP (Voir les encadrés de couleur vert)
Ce que vous allez apprendre dans ce TP
- Déployer Leader et Workers
- Configurer un groupe et déployer
- Activer une file persistante
- Simuler une panne de destination
- Automatiser commit et déploiement par l'API
Introduction #
Ce que vous allez apprendre dans cette section
- Déployer Leader et Workers
- Configurer un groupe et déployer
- Activer une file persistante
- Simuler une panne de destination
- Automatiser commit et déploiement par l'API
Contexte. Avant la production, l'équipe exige deux preuves : la configuration se déploie de façon contrôlée sur tous les Workers, et une panne du SIEM ne fait perdre aucun événement.
Prérequis : un poste avec Docker et Docker Compose (4 Go de mémoire libre), curl et jq · Durée estimée : 75 min
Un cluster Cribl de trois nœuds, une version déployée par l'interface puis par l'API, et une file persistante vidée sans perte après une panne.Mise en place #
Étapes guidées, avec leur correction.
1. Démarrer le cluster
Pourquoi ? Le jeton partagé authentifie les Workers auprès du Leader.
Écrivez le Compose (Leader, deux Workers, faux SIEM), démarrez-le et vérifiez dans Manage › Workers que les deux Workers sont connectés au groupedefault.Voir la correction
mkdir cribl-dist && cd cribl-dist export CRIBL_TOKEN=$(openssl rand -hex 16); echo "CRIBL_TOKEN=$CRIBL_TOKEN" > .env cat > docker-compose.yml <<'EOF' services: leader: image: cribl/cribl:latest environment: CRIBL_DIST_MODE: leader CRIBL_DIST_LEADER_URL: tcp://0.0.0.0:4200 CRIBL_DIST_AUTH_TOKENS: ${CRIBL_TOKEN} CRIBL_VOLUME_DIR: /opt/cribl/config-volume ports: ["19000:9000"] volumes: ["./leader:/opt/cribl/config-volume"] workers: image: cribl/cribl:latest environment: CRIBL_DIST_MODE: worker CRIBL_DIST_LEADER_URL: tcp://${CRIBL_TOKEN}@leader:4200 depends_on: [leader] siem: image: mendhak/http-https-echo:latest EOF docker compose up -d --scale workers=2 until curl -sf localhost:19000/api/v1/health >/dev/null; do sleep 3; done; docker compose ps2. Configurer et déployer
Pourquoi ? Rien ne change sur les Workers tant que la version n'est pas déployée.
Dans le groupedefault: source Datagenin_gen(un échantillon fourni, 50 événements par seconde), destination Webhookout_siemvershttp://siem:8080/, routegen_siem. Faites Commit puis Deploy.Voir la correction
docker compose logs --since 1m siem | grep -c '"path"' # > 0 : both Workers send to the SIEM (see Monitoring › Data › Destinations)3. Activer la file persistante
Pourquoi ? Sans file, une panne de la destination bloque ou jette les données.
Surout_siem, réglez Backpressure behavior sur Persistent Queue (taille maximale 1 Go, compression gzip), puis Commit et Deploy.Voir la correction
Backpressure behavior: Persistent Queue Max queue size: 1GB · Compression: gzip · Queue path: $CRIBL_HOME/state/queues4. Simuler la panne
Pourquoi ? Seule une panne réelle prouve le comportement.
Arrêtez le SIEM 2 minutes, observez la file grandir sur les Workers, redémarrez-le et vérifiez qu'elle se vide.Voir la correction
docker compose stop siem; sleep 120 for w in $(docker compose ps -q workers); do docker exec $w du -sh /opt/cribl/state/queues; done docker compose start siem; sleep 60 for w in $(docker compose ps -q workers); do docker exec $w du -sh /opt/cribl/state/queues; done5. Déployer par l'API
Pourquoi ? En production, les changements passent par la CI, pas par des clics.
Changez le débit dein_genpar l'API, puis enchaînez commit du groupe, déploiement et commit du Leader. Vérifiez la version déployée.Voir la correction
CRIBL=http://localhost:19000 TOKEN=$(curl -s -X POST $CRIBL/api/v1/auth/login -H 'Content-Type: application/json' -d '{"username":"admin","password":"'"$CRIBL_PASSWORD"'"}' | jq -r .token) H=(-H "Authorization: Bearer $TOKEN" -H 'Content-Type: application/json') IN=$(curl -s "${H[@]}" $CRIBL/api/v1/m/default/system/inputs/in_gen | jq '.items[0] | .samples[0].eventsPerSec = 20') curl -s "${H[@]}" -X PATCH $CRIBL/api/v1/m/default/system/inputs/in_gen -d "$IN" | jq -r '.items[0].id' COMMIT=$(curl -s "${H[@]}" -X POST $CRIBL/api/v1/version/commit -d '{"message":"api: in_gen 20 eps","group":"default"}' | jq -r '.items[0].commit') curl -s "${H[@]}" -X PATCH $CRIBL/api/v1/products/stream/groups/default/deploy -d "{\"version\":\"$COMMIT\"}" | jq -r '.items[0].configVersion' curl -s "${H[@]}" -X POST $CRIBL/api/v1/version/commit -d '{"message":"sync leader"}' >/dev/null
Niveau de difficulté : ●●●●○ (4/5)
Mon suivi
Connectez-vous pour suivre votre progression et prendre des notes. Se connecter
💬 Questions sur cette leçon
Aucune question pour l'instant : soyez le premier à demander de l'aide ou à partager votre configuration.
Articles recommandés
Cribl Stream en production : architecture distribuée, files persistantes et supervision
Passer Cribl Stream en production : Leader, groupes de Workers et processus, commit et déploiemen...
Automatiser Cribl : API REST, Packs, Git et Terraform
Gérer Cribl comme du code : API REST (authentification, chemins par groupe, commit et déploiement...
Logstash en production : files persistantes, DLQ et multi-pipelines
Rendre Logstash fiable en production : file persistante, dead letter queue, plusieurs pipelines e...
Collector OpenTelemetry : connecteurs, extensions et observabilité du Collector
Aller plus loin avec le Collector : connecteurs (spanmetrics, servicegraph, count, routing, failo...
Bonnes pratiques Cribl Stream et Edge
Les bonnes pratiques pour exploiter Cribl en production : conception des routes et pipelines, nom...
Archiver, rejouer et rechercher : S3, Replay, Cribl Lake et Cribl Search
Garder toutes les données à bas coût et les retrouver à la demande : destination S3 partitionnée,...
Tracing distribué : la propagation du contexte (W3C Trace Context et baggage)
Comprendre et mettre en œuvre la propagation de contexte OpenTelemetry : en-tête traceparent, tra...
Bonnes pratiques du tracing distribué avec Jaeger
Check-list pour un tracing utile : instrumentation OpenTelemetry, nommage des spans, attributs, p...
Installer et administrer Cribl Stream
Installer Cribl Stream en Docker ou sur Linux, le lancer comme service, comprendre $CRIBL_HOME, d...