RousselTMLEARNING

Article · Cribl : de la découverte à l'expertise

Cribl en production

1. L'architecture distribuée #

Leader, groupes, Workers.

Les rôles #

Architecture distribuée
RôleResponsabilité
Leaderinterface, API, configuration versionnée dans Git, distribution aux Workers (port 4200) ; ne traite pas les données
Groupe de Workersensemble de Workers qui partagent exactement la même configuration (par région, par usage)
Workernœud qui traite les données ; lance plusieurs processus (en général un par cœur, moins un ou deux)

Si le Leader tombe, les Workers continuent de traiter avec leur dernière configuration : seules les modifications et la supervision centralisée sont interrompues.

Un cluster de test #

services:
  leader:
    image: cribl/cribl:4.20.0
    environment:
      CRIBL_DIST_MODE: leader
      CRIBL_DIST_LEADER_URL: tcp://0.0.0.0:4200
      CRIBL_DIST_AUTH_TOKENS: ${CRIBL_TOKEN}
      CRIBL_VOLUME_DIR: /opt/cribl/config-volume
    ports: ["19000:9000"]
    volumes: ["./leader:/opt/cribl/config-volume"]
  workers:
    image: cribl/cribl:4.20.0
    environment:
      CRIBL_DIST_MODE: worker
      CRIBL_DIST_LEADER_URL: tcp://${CRIBL_TOKEN}@leader:4200
    depends_on: [leader]
# docker compose up -d --scale workers=2
À savoir : Avec la licence gratuite, un seul groupe (default) est disponible. Le jeton CRIBL_DIST_AUTH_TOKENS authentifie les Workers : choisissez une valeur aléatoire et gardez-la secrète.

2. Modifier en sécurité #

Commit et déploiement.

Le cycle #

  1. On modifie la configuration d'un groupe sur le Leader : rien ne change encore sur les Workers.
  2. Commit : la modification devient une version Git, avec un message.
  3. Deploy : les Workers du groupe téléchargent la version et rechargent sans couper le flux.
  4. En cas de problème, on redéploie une version précédente depuis l'historique.
Bonne Pratique : Configurez un dépôt Git distant (Settings › Git) pour pousser automatiquement l'historique : c'est votre sauvegarde de configuration et votre piste d'audit.

3. Mettre à l'échelle #

Processus, Workers, répartition.

Principes #

  • Verticalement : plus de cœurs = plus de processus Worker ; réglable dans les paramètres du groupe.
  • Horizontalement : ajouter des Workers au groupe ; pour les sources push (syslog, HEC), placer un répartiteur de charge devant eux.
  • Les sources pull (Kafka, SQS) se répartissent naturellement entre Workers ; les collecteurs répartissent leurs tâches.
  • Dimensionnez à partir de mesures : CPU par processus, débit par Worker, et gardez une marge pour les pics et la perte d'un nœud.
Attention : Le syslog UDP derrière un répartiteur perd la notion de flux : préférez TCP, ou un collecteur syslog local qui relaie en TCP.

4. Ne rien perdre #

Contre-pression et files persistantes.

Files persistantes #

File persistante
Réglage de destinationEffet quand la destination ne suit plus
BlockCribl ralentit la lecture des sources (les émetteurs attendent) ; risque de perte côté émetteur UDP
Droples événements sont jetés : acceptable pour des données peu critiques
Persistent Queueles événements sont écrits sur disque, puis envoyés dans l'ordre au retour de la destination
  • Dimensionnez la taille maximale de la file (Go) pour couvrir la plus longue indisponibilité tolérée, et surveillez l'espace disque.
  • Les sources push peuvent aussi avoir une file persistante, utile quand l'émetteur ne sait pas réessayer ; depuis la version 4.20, le mode « Smart » des files de source est déprécié au profit du mode toujours actif.

Haute disponibilité du Leader #

Un second Leader en attente, avec un stockage partagé (NFS) pour la configuration, reprend en cas de panne. Sur Cribl.Cloud, le Leader est géré par Cribl.

5. Superviser et sécuriser #

Voir et protéger.

Superviser #

  • Monitoring : débit par source et destination, CPU et mémoire des Workers, files persistantes, erreurs.
  • Source Cribl Internal : envoyez les logs et métriques internes de Cribl vers votre outil d'observabilité, pour alerter même si l'interface est indisponible.
  • Notifications : alertes sur source sans données, destination en erreur, file qui se remplit, licence.
  • Point de santé : GET /api/v1/health pour les sondes du répartiteur et de Kubernetes.

Sécuriser #

  • TLS sur l'interface, entre Leader et Workers, et sur les sources exposées.
  • Comptes nominatifs, rôles (RBAC selon licence), authentification unique ; pas de compte admin partagé.
  • Secrets (mots de passe de destinations, clés) dans le gestionnaire de secrets de Cribl, pas en clair dans les pipelines.

Commandes à connaître #

Commandes à connaître
  • docker compose up -d --scale workers=2 : ajouter des Workers (test)
  • curl -s http://leader:9000/api/v1/health : santé d'un nœud
  • du -sh /opt/cribl/state/queues : taille des files persistantes
  • CRIBL_DIST_LEADER_URL=tcp://<jeton>@leader:4200 : rattacher un Worker

Sources #

Vérifié en novembre 2026 (Cribl 4.20) : Cribl publie une version mineure environ tous les deux mois, consultez les notes de version avant de vous appuyer sur un détail.

📄 Cribl Stream en production : architecture distribuée, files persistantes et supervision →

Mon suivi

  • ⏱ Durée estimée : ≈ 7 min

Connectez-vous pour suivre votre progression et prendre des notes. Se connecter

💬 Questions sur cette leçon

Aucune question pour l'instant : soyez le premier à demander de l'aide ou à partager votre configuration.

Poser une question sur cette leçon →

Articles recommandés

Cribl Edge : collecter au plus près des sources

Déployer Cribl Edge sur Linux, Windows et Kubernetes : rôle de l'agent, flottes et sous-flottes, ...

Pipelines et fonctions : parser, enrichir, masquer

Construire des pipelines Cribl Stream : pré-traitement, traitement et post-traitement, catalogue ...

Bonnes pratiques Logstash : pipelines, performances, fiabilité et supervision

Bonnes pratiques Logstash : pipelines multiples, dissect plutôt que grok, conditionnels, persiste...

Bonnes pratiques Bindplane

Check-list pour exploiter Bindplane : organisation par labels et fleets, réduction mesurée, masqu...

Bonnes pratiques VictoriaMetrics

Check-list de production pour VictoriaMetrics : dimensionnement, rétention, haute disponibilité, ...

HAProxy dans Kubernetes : L'Ingress Controller Haute Performance

Découvrez en profondeur l'intégration de HAProxy dans Kubernetes. Architecture Direct-to-Pod, opt...

Arize en production : Phoenix auto-hébergé, Arize AX, sécurité, coûts et monitoring

Passer en production : Phoenix avec PostgreSQL et authentification, OpenTelemetry Collector devan...

Haute disponibilité et exploitation d'Alertmanager

Monter un cluster Alertmanager hautement disponible (gossip), configurer Prometheus pour tous les...

Bonnes pratiques Grafana Mimir : architecture, limites, coûts et exploitation

Check-list de production pour Grafana Mimir : architecture, réplication par zone, limites par ten...

Soutenir

♥ SOUTENIR

Soutenez RousselTM Learning

Les formations, articles, TP et attestations restent gratuits et sans publicité intrusive. Une contribution libre, du montant de votre choix, finance l’hébergement, les environnements de TP et l’écriture de nouveaux contenus.

Contribuer avec PayPal Montant libre · carte bancaire ou compte PayPalEn savoir plus
QR code PayPal
Ou scannez ce QR code avec votre téléphone

Merci, chaque contribution compte !