Ce que vous allez apprendre dans ce TP
- Déployer un stockage S3 et un faux SIEM
- Router en double flux
- Supprimer le bruit avec Drop
- Dédoublonner et agréger
- Mesurer la réduction
Introduction #
Ce que vous allez apprendre dans cette section
- Déployer un stockage S3 et un faux SIEM
- Router en double flux
- Supprimer le bruit avec Drop
- Dédoublonner et agréger
- Mesurer la réduction
Contexte. La licence du SIEM est dépassée chaque mois à cause des logs de pare-feu. La sécurité accepte de filtrer, à condition de pouvoir tout récupérer et que les refus restent tous visibles.
Prérequis : un poste avec Docker et Docker Compose (4 Go de mémoire libre), curl et jq, l'instance du TP 1 · Durée estimée : 60 min
Un double flux : archive complète compressée et flux SIEM réduit d'au moins 50 %, avec la mesure dans Monitoring.Mise en place #
Étapes guidées, avec leur correction.
1. Stockage S3 et faux SIEM
Pourquoi ? MinIO joue le rôle de S3, un serveur d'écho celui du SIEM.
Créez un réseau commun, MinIO avec un bucketarchiveet un récepteur HTTPsiem.2. Destinations
Pourquoi ? Deux destinations aux rôles opposés : tout garder, ou n'envoyer que l'utile.
Créezout_s3_archive(Amazon S3 : endpointhttp://minio:9000, bucketarchive, cléscribl/cribl-lab-2026, signature v4, JSON gzip) etout_siem(Webhook :http://siem:8080/, JSON).3. Routes en double flux
Pourquoi ? La route non finale garantit l'archive complète avant toute réduction.
Ajoutez en tête :fw_archive(filtreappname=='pan', pipelinepassthru,out_s3_archive, Final désactivé), puisfw_siem(même filtre, pipelinepl_fw_reduceà créer,out_siem, Final). Envoyez les données.4. Parser et nettoyer
Pourquoi ? Les champs vides et constants coûtent sans rien apporter.
Danspl_fw_reduce: Parser en mode Extract, type Key=Value surmessage; puis Eval qui retirepad*,serial,vsyset_raw.5. Drop, Suppress, Aggregations
Pourquoi ? Chaque fonction cible un type de gaspillage différent.
Ajoutez : Drop du DNS autorisé ; Suppress des refus identiques (clé source + port, 1 par 5 minutes) ; Aggregations du trafic SSL autorisé par minute. Les refus restent visibles (avec un compteur).6. Mesurer
Pourquoi ? Le gain doit être prouvé, et les détections préservées.
Renvoyez les 2 000 lignes. Comparez dans Monitoring › Data › Destinations les octets deout_s3_archiveetout_siem, vérifiez l'archive dans MinIO et que tous les couples source/port refusés figurent au SIEM.
Niveau de difficulté : ●●●○○ (3/5)
Mon suivi
Connectez-vous pour suivre votre progression et prendre des notes. Se connecter
💬 Questions sur cette leçon
Aucune question pour l'instant : soyez le premier à demander de l'aide ou à partager votre configuration.
Articles recommandés
Sources, destinations et routes dans Cribl Stream
Recevoir et envoyer des données avec Cribl Stream : sources push, pull, collecteurs et internes, ...
Cribl Edge : collecter au plus près des sources
Déployer Cribl Edge sur Linux, Windows et Kubernetes : rôle de l'agent, flottes et sous-flottes, ...
Cribl Stream en production : architecture distribuée, files persistantes et supervision
Passer Cribl Stream en production : Leader, groupes de Workers et processus, commit et déploiemen...
Automatiser Cribl : API REST, Packs, Git et Terraform
Gérer Cribl comme du code : API REST (authentification, chemins par groupe, commit et déploiement...
Bonnes pratiques Cribl Stream et Edge
Les bonnes pratiques pour exploiter Cribl en production : conception des routes et pipelines, nom...
Grafana Alloy et les logs : collecter et envoyer vers Loki
Découvrez comment configurer Grafana Alloy pour lire des fichiers de logs, journald ou des flux r...
Coûts et gouvernance Datadog : usage, attribution, RBAC et politiques de tags
Maîtriser la facture et gouverner Datadog : suivi de l'usage et de l'estimation, attribution des ...
Installer et administrer Cribl Stream
Installer Cribl Stream en Docker ou sur Linux, le lancer comme service, comprendre $CRIBL_HOME, d...
Logs Datadog avancés : index, filtres d'exclusion, Flex Logs, archives et Sensitive Data Scanner
Maîtriser coût et conformité des logs Datadog : pipelines et processeurs, index et rétention, fil...