RousselTMLEARNING

Observabilité

Sources, destinations et routes dans Cribl Stream

Recevoir et envoyer des données avec Cribl Stream : sources push, pull, collecteurs et internes, découpage en événements, destinations et routeur de sortie, table de routage, filtres JavaScript, option Final, QuickConnect et capture des données en direct.

1. Les sources #

Écouter, collecter, observer.

Familles de sources #

FamilleExemplesFonctionnement
PushSyslog, Splunk HEC, Splunk TCP, HTTP, OpenTelemetry, Elasticsearch API, TCP JSONCribl écoute un port ; les émetteurs envoient
PullKafka, Amazon SQS et S3, Azure Event Hubs, Google Pub/Sub, Office 365, OktaCribl va chercher en continu
CollecteursS3, REST, Azure Blob, Google Cloud Storage, scriptcollecte planifiée ou à la demande (rejeu)
InternesDatagen, Cribl Internal (logs et métriques), Cribl HTTP / Cribl TCPdonnées générées, télémétrie de Cribl, flux depuis Edge ou un autre Stream

Découper en événements #

Découpage

Les sources qui reçoivent un flux d'octets (TCP, fichiers, objets S3) utilisent des Event Breakers : des règles qui découpent le flux en événements (ligne, JSON, CSV, en-tête multi-lignes) et extraient l'horodatage. Une mauvaise règle donne des événements tronqués ou une _time fausse : c'est le premier réglage à vérifier.

Bonne Pratique : Ajoutez des champs à la source (Fields), par exemple sourcetype, env ou team : les routes et pipelines s'appuient ensuite sur eux.

2. Les destinations #

Où vont les données.

Panorama #

TypeExemples
SIEMSplunk (HEC, S2S, load-balanced), Microsoft Sentinel, Google SecOps, Elastic Security, QRadar
ObservabilitéDatadog, Elasticsearch, Grafana Loki, Prometheus, OpenTelemetry, New Relic, Dynatrace
StockageAmazon S3 et compatibles (MinIO), Azure Blob, Google Cloud Storage, Cribl Lake, système de fichiers
FluxKafka, Amazon Kinesis, Azure Event Hubs, Google Pub/Sub
SpécialesOutput Router (choisit une destination selon un filtre), Default, DevNull (jette), Cribl HTTP / TCP, Cribl Search

Chaque destination définit un format (JSON, brut, Parquet…), une compression, du TLS, et un comportement de contre-pression : bloquer, jeter ou mettre en file persistante (voir le chapitre production).

3. Les routes #

Qui va où, avec quel traitement.

La table de routage #

Table de routage
  • Les routes sont évaluées dans l'ordre, de haut en bas. Chaque route a un filtre (expression JavaScript), un pipeline et une destination.
  • Avec Final activé (par défaut), un événement retenu par la route s'arrête là. Avec Final désactivé, une copie est traitée et l'événement continue vers les routes suivantes : c'est ainsi qu'on envoie la même donnée à plusieurs destinations.
  • La dernière route, true, attrape le reste : envoyez-la vers une destination par défaut ou vers DevNull, consciemment.

Filtres utiles #

FiltreRetient
sourcetype=='pan:traffic'les logs de trafic Palo Alto
__inputId.startsWith('syslog:')tout ce qui arrive par une source syslog
host.endsWith('.prod.local') && level=='error'les erreurs des hôtes de production
/failed password/i.test(_raw)les échecs d'authentification SSH
C.Net.cidrMatch('10.0.0.0/8', src_ip)les adresses internes

QuickConnect #

QuickConnect relie graphiquement une source à une destination, avec un pipeline ou un Pack au milieu, sans passer par la table de routage. Pratique pour des flux simples et indépendants ; dès qu'il faut cloner, prioriser ou filtrer finement, préférez les routes.

4. Voir les données #

Capturer avant de transformer.

Capture et échantillons #

  • Live Data (sur une source, une route ou une destination) affiche les événements qui passent, en temps réel.
  • Capture enregistre quelques secondes ou quelques centaines d'événements, à un point précis du trajet (avant ou après les pipelines).
  • Enregistrez la capture comme fichier d'échantillon : il servira à construire et tester les pipelines dans l'aperçu.
Attention : Les échantillons contiennent de vraies données : masquez-les ou limitez leur partage s'ils contiennent des données personnelles.

Commandes à connaître #

Commandes à connaître
  • logger -n 127.0.0.1 -P 9514 -T 'test cribl' : envoyer un message syslog de test
  • curl -s http://localhost:8088/services/collector/event -H "Authorization: Splunk <jeton>" -d '{"event":"test"}' : envoyer un événement HEC
  • __inputId.startsWith('syslog:') : filtrer par source
  • C.Net.cidrMatch('10.0.0.0/8', src_ip) : filtrer par réseau

Sources #

Vérifié en novembre 2026 (Cribl 4.20) : Cribl publie une version mineure environ tous les deux mois, consultez les notes de version avant de vous appuyer sur un détail.

Articles liés

Cribl : le pipeline de données pour l'observabilité et la sécurité

Découvrir Cribl : pourquoi un pipeline de données de télémétrie, la suite Cribl (Stream, Edge, Lake, Search, …

Installer et administrer Cribl Stream

Installer Cribl Stream en Docker ou sur Linux, le lancer comme service, comprendre $CRIBL_HOME, default et lo…

Pipelines et fonctions : parser, enrichir, masquer

Construire des pipelines Cribl Stream : pré-traitement, traitement et post-traitement, catalogue des fonction…

Pour aller plus loin

Soutenir

♥ SOUTENIR

Soutenez RousselTM Learning

Les formations, articles, TP et attestations restent gratuits et sans publicité intrusive. Une contribution libre, du montant de votre choix, finance l’hébergement, les environnements de TP et l’écriture de nouveaux contenus.

Contribuer avec PayPal Montant libre · carte bancaire ou compte PayPalEn savoir plus
QR code PayPal
Ou scannez ce QR code avec votre téléphone

Merci, chaque contribution compte !