1. Les sources #
Écouter, collecter, observer.
Familles de sources #
| Famille | Exemples | Fonctionnement |
|---|---|---|
| Push | Syslog, Splunk HEC, Splunk TCP, HTTP, OpenTelemetry, Elasticsearch API, TCP JSON | Cribl écoute un port ; les émetteurs envoient |
| Pull | Kafka, Amazon SQS et S3, Azure Event Hubs, Google Pub/Sub, Office 365, Okta | Cribl va chercher en continu |
| Collecteurs | S3, REST, Azure Blob, Google Cloud Storage, script | collecte planifiée ou à la demande (rejeu) |
| Internes | Datagen, Cribl Internal (logs et métriques), Cribl HTTP / Cribl TCP | données générées, télémétrie de Cribl, flux depuis Edge ou un autre Stream |
Découper en événements #
Les sources qui reçoivent un flux d'octets (TCP, fichiers, objets S3) utilisent des Event Breakers : des règles qui découpent le flux en événements (ligne, JSON, CSV, en-tête multi-lignes) et extraient l'horodatage. Une mauvaise règle donne des événements tronqués ou une _time fausse : c'est le premier réglage à vérifier.
Bonne Pratique : Ajoutez des champs à la source (Fields), par exemplesourcetype,envouteam: les routes et pipelines s'appuient ensuite sur eux.
2. Les destinations #
Où vont les données.
Panorama #
| Type | Exemples |
|---|---|
| SIEM | Splunk (HEC, S2S, load-balanced), Microsoft Sentinel, Google SecOps, Elastic Security, QRadar |
| Observabilité | Datadog, Elasticsearch, Grafana Loki, Prometheus, OpenTelemetry, New Relic, Dynatrace |
| Stockage | Amazon S3 et compatibles (MinIO), Azure Blob, Google Cloud Storage, Cribl Lake, système de fichiers |
| Flux | Kafka, Amazon Kinesis, Azure Event Hubs, Google Pub/Sub |
| Spéciales | Output Router (choisit une destination selon un filtre), Default, DevNull (jette), Cribl HTTP / TCP, Cribl Search |
Chaque destination définit un format (JSON, brut, Parquet…), une compression, du TLS, et un comportement de contre-pression : bloquer, jeter ou mettre en file persistante (voir le chapitre production).
3. Les routes #
Qui va où, avec quel traitement.
La table de routage #
- Les routes sont évaluées dans l'ordre, de haut en bas. Chaque route a un filtre (expression JavaScript), un pipeline et une destination.
- Avec Final activé (par défaut), un événement retenu par la route s'arrête là. Avec Final désactivé, une copie est traitée et l'événement continue vers les routes suivantes : c'est ainsi qu'on envoie la même donnée à plusieurs destinations.
- La dernière route,
true, attrape le reste : envoyez-la vers une destination par défaut ou vers DevNull, consciemment.
Filtres utiles #
| Filtre | Retient |
|---|---|
sourcetype=='pan:traffic' | les logs de trafic Palo Alto |
__inputId.startsWith('syslog:') | tout ce qui arrive par une source syslog |
host.endsWith('.prod.local') && level=='error' | les erreurs des hôtes de production |
/failed password/i.test(_raw) | les échecs d'authentification SSH |
C.Net.cidrMatch('10.0.0.0/8', src_ip) | les adresses internes |
QuickConnect #
QuickConnect relie graphiquement une source à une destination, avec un pipeline ou un Pack au milieu, sans passer par la table de routage. Pratique pour des flux simples et indépendants ; dès qu'il faut cloner, prioriser ou filtrer finement, préférez les routes.
4. Voir les données #
Capturer avant de transformer.
Capture et échantillons #
- Live Data (sur une source, une route ou une destination) affiche les événements qui passent, en temps réel.
- Capture enregistre quelques secondes ou quelques centaines d'événements, à un point précis du trajet (avant ou après les pipelines).
- Enregistrez la capture comme fichier d'échantillon : il servira à construire et tester les pipelines dans l'aperçu.
Attention : Les échantillons contiennent de vraies données : masquez-les ou limitez leur partage s'ils contiennent des données personnelles.
Commandes à connaître #
Commandes à connaître
logger -n 127.0.0.1 -P 9514 -T 'test cribl': envoyer un message syslog de testcurl -s http://localhost:8088/services/collector/event -H "Authorization: Splunk <jeton>" -d '{"event":"test"}': envoyer un événement HEC__inputId.startsWith('syslog:'): filtrer par sourceC.Net.cidrMatch('10.0.0.0/8', src_ip): filtrer par réseau
Sources #
Vérifié en novembre 2026 (Cribl 4.20) : Cribl publie une version mineure environ tous les deux mois, consultez les notes de version avant de vous appuyer sur un détail.
Mon suivi
Connectez-vous pour suivre votre progression et prendre des notes. Se connecter
💬 Questions sur cette leçon
Aucune question pour l'instant : soyez le premier à demander de l'aide ou à partager votre configuration.
Articles recommandés
Réduire, transformer et optimiser les volumes avec Cribl
Réduire le volume envoyé aux SIEM et outils d'observabilité sans perdre d'information utile : Dro...
Archiver, rejouer et rechercher : S3, Replay, Cribl Lake et Cribl Search
Garder toutes les données à bas coût et les retrouver à la demande : destination S3 partitionnée,...
Automatiser Cribl : API REST, Packs, Git et Terraform
Gérer Cribl comme du code : API REST (authentification, chemins par groupe, commit et déploiement...
Pipelines et fonctions : parser, enrichir, masquer
Construire des pipelines Cribl Stream : pré-traitement, traitement et post-traitement, catalogue ...
Bindplane : gérer ses pipelines de télémétrie OpenTelemetry
Comprendre Bindplane : plan de contrôle des collecteurs OpenTelemetry via OpAMP, BDOT Collector, ...
Réduire, masquer et router la télémétrie avec Bindplane
Réduire les coûts d'ingestion avec Bindplane : filtres de sévérité, déduplication, échantillonnag...
Logs Datadog avancés : index, filtres d'exclusion, Flex Logs, archives et Sensitive Data Scanner
Maîtriser coût et conformité des logs Datadog : pipelines et processeurs, index et rétention, fil...
Fluent Bit : les outputs (sorties), routage et fiabilité de l'envoi
Envoyer les données de Fluent Bit : routage par Match et Match_Regex, sorties Loki, Elasticsearch...
Logs dans Datadog : collecte, pipelines, index et maîtrise du volume
Collecter les logs avec l'agent, les structurer avec pipelines et processeurs (grok), utiliser fa...