RousselTMLEARNING

TP · Cribl : de la découverte à l'expertise

TP : Cluster distribué et file persistante avec correction

La correction est intégrée au TP (Voir les encadrés de couleur vert)

Ce que vous allez apprendre dans ce TP
  • Déployer Leader et Workers
  • Configurer un groupe et déployer
  • Activer une file persistante
  • Simuler une panne de destination
  • Automatiser commit et déploiement par l'API

Introduction #

Ce que vous allez apprendre dans cette section
  • Déployer Leader et Workers
  • Configurer un groupe et déployer
  • Activer une file persistante
  • Simuler une panne de destination
  • Automatiser commit et déploiement par l'API

Contexte. Avant la production, l'équipe exige deux preuves : la configuration se déploie de façon contrôlée sur tous les Workers, et une panne du SIEM ne fait perdre aucun événement.

Prérequis : un poste avec Docker et Docker Compose (4 Go de mémoire libre), curl et jq  ·  Durée estimée : 75 min

Un cluster Cribl de trois nœuds, une version déployée par l'interface puis par l'API, et une file persistante vidée sans perte après une panne.

Mise en place #

Étapes guidées, avec leur correction.

  1. 1. Démarrer le cluster

    Pourquoi ? Le jeton partagé authentifie les Workers auprès du Leader.

    Écrivez le Compose (Leader, deux Workers, faux SIEM), démarrez-le et vérifiez dans Manage › Workers que les deux Workers sont connectés au groupe default.
    Voir la correction
    mkdir cribl-dist && cd cribl-dist
    export CRIBL_TOKEN=$(openssl rand -hex 16); echo "CRIBL_TOKEN=$CRIBL_TOKEN" > .env
    cat > docker-compose.yml <<'EOF'
    services:
      leader:
        image: cribl/cribl:latest
        environment:
          CRIBL_DIST_MODE: leader
          CRIBL_DIST_LEADER_URL: tcp://0.0.0.0:4200
          CRIBL_DIST_AUTH_TOKENS: ${CRIBL_TOKEN}
          CRIBL_VOLUME_DIR: /opt/cribl/config-volume
        ports: ["19000:9000"]
        volumes: ["./leader:/opt/cribl/config-volume"]
      workers:
        image: cribl/cribl:latest
        environment:
          CRIBL_DIST_MODE: worker
          CRIBL_DIST_LEADER_URL: tcp://${CRIBL_TOKEN}@leader:4200
        depends_on: [leader]
      siem:
        image: mendhak/http-https-echo:latest
    EOF
    docker compose up -d --scale workers=2
    until curl -sf localhost:19000/api/v1/health >/dev/null; do sleep 3; done; docker compose ps
  2. 2. Configurer et déployer

    Pourquoi ? Rien ne change sur les Workers tant que la version n'est pas déployée.

    Dans le groupe default : source Datagen in_gen (un échantillon fourni, 50 événements par seconde), destination Webhook out_siem vers http://siem:8080/, route gen_siem. Faites Commit puis Deploy.
    Voir la correction
    docker compose logs --since 1m siem | grep -c '"path"'
    # > 0 : both Workers send to the SIEM (see Monitoring › Data › Destinations)
  3. 3. Activer la file persistante

    Pourquoi ? Sans file, une panne de la destination bloque ou jette les données.

    Sur out_siem, réglez Backpressure behavior sur Persistent Queue (taille maximale 1 Go, compression gzip), puis Commit et Deploy.
    Voir la correction
    Backpressure behavior: Persistent Queue
    Max queue size: 1GB · Compression: gzip · Queue path: $CRIBL_HOME/state/queues
  4. 4. Simuler la panne

    Pourquoi ? Seule une panne réelle prouve le comportement.

    Arrêtez le SIEM 2 minutes, observez la file grandir sur les Workers, redémarrez-le et vérifiez qu'elle se vide.
    Voir la correction
    docker compose stop siem; sleep 120
    for w in $(docker compose ps -q workers); do docker exec $w du -sh /opt/cribl/state/queues; done
    docker compose start siem; sleep 60
    for w in $(docker compose ps -q workers); do docker exec $w du -sh /opt/cribl/state/queues; done
  5. 5. Déployer par l'API

    Pourquoi ? En production, les changements passent par la CI, pas par des clics.

    Changez le débit de in_gen par l'API, puis enchaînez commit du groupe, déploiement et commit du Leader. Vérifiez la version déployée.
    Voir la correction
    CRIBL=http://localhost:19000
    TOKEN=$(curl -s -X POST $CRIBL/api/v1/auth/login -H 'Content-Type: application/json' -d '{"username":"admin","password":"'"$CRIBL_PASSWORD"'"}' | jq -r .token)
    H=(-H "Authorization: Bearer $TOKEN" -H 'Content-Type: application/json')
    IN=$(curl -s "${H[@]}" $CRIBL/api/v1/m/default/system/inputs/in_gen | jq '.items[0] | .samples[0].eventsPerSec = 20')
    curl -s "${H[@]}" -X PATCH $CRIBL/api/v1/m/default/system/inputs/in_gen -d "$IN" | jq -r '.items[0].id'
    COMMIT=$(curl -s "${H[@]}" -X POST $CRIBL/api/v1/version/commit -d '{"message":"api: in_gen 20 eps","group":"default"}' | jq -r '.items[0].commit')
    curl -s "${H[@]}" -X PATCH $CRIBL/api/v1/products/stream/groups/default/deploy -d "{\"version\":\"$COMMIT\"}" | jq -r '.items[0].configVersion'
    curl -s "${H[@]}" -X POST $CRIBL/api/v1/version/commit -d '{"message":"sync leader"}' >/dev/null

Niveau de difficulté : ●●●●○ (4/5)

Mon suivi

  • ⏱ Durée estimée : ≈ 1 h 15

Connectez-vous pour suivre votre progression et prendre des notes. Se connecter

💬 Questions sur cette leçon

Aucune question pour l'instant : soyez le premier à demander de l'aide ou à partager votre configuration.

Poser une question sur cette leçon →

Articles recommandés

Cribl Stream en production : architecture distribuée, files persistantes et supervision

Passer Cribl Stream en production : Leader, groupes de Workers et processus, commit et déploiemen...

Automatiser Cribl : API REST, Packs, Git et Terraform

Gérer Cribl comme du code : API REST (authentification, chemins par groupe, commit et déploiement...

Logstash en production : files persistantes, DLQ et multi-pipelines

Rendre Logstash fiable en production : file persistante, dead letter queue, plusieurs pipelines e...

Collector OpenTelemetry : connecteurs, extensions et observabilité du Collector

Aller plus loin avec le Collector : connecteurs (spanmetrics, servicegraph, count, routing, failo...

Bonnes pratiques Cribl Stream et Edge

Les bonnes pratiques pour exploiter Cribl en production : conception des routes et pipelines, nom...

Archiver, rejouer et rechercher : S3, Replay, Cribl Lake et Cribl Search

Garder toutes les données à bas coût et les retrouver à la demande : destination S3 partitionnée,...

Tracing distribué : la propagation du contexte (W3C Trace Context et baggage)

Comprendre et mettre en œuvre la propagation de contexte OpenTelemetry : en-tête traceparent, tra...

Bonnes pratiques du tracing distribué avec Jaeger

Check-list pour un tracing utile : instrumentation OpenTelemetry, nommage des spans, attributs, p...

Installer et administrer Cribl Stream

Installer Cribl Stream en Docker ou sur Linux, le lancer comme service, comprendre $CRIBL_HOME, d...

Soutenir

♥ SOUTENIR

Soutenez RousselTM Learning

Les formations, articles, TP et attestations restent gratuits et sans publicité intrusive. Une contribution libre, du montant de votre choix, finance l’hébergement, les environnements de TP et l’écriture de nouveaux contenus.

Contribuer avec PayPal Montant libre · carte bancaire ou compte PayPalEn savoir plus
QR code PayPal
Ou scannez ce QR code avec votre téléphone

Merci, chaque contribution compte !