Ce que vous allez apprendre dans ce TP
- Déployer un stockage S3 et un faux SIEM
- Router en double flux
- Supprimer le bruit avec Drop
- Dédoublonner et agréger
- Mesurer la réduction
Introduction #
Ce que vous allez apprendre dans cette section
- Déployer un stockage S3 et un faux SIEM
- Router en double flux
- Supprimer le bruit avec Drop
- Dédoublonner et agréger
- Mesurer la réduction
Contexte. La licence du SIEM est dépassée chaque mois à cause des logs de pare-feu. La sécurité accepte de filtrer, à condition de pouvoir tout récupérer et que les refus restent tous visibles.
Prérequis : un poste avec Docker et Docker Compose (4 Go de mémoire libre), curl et jq, l'instance du TP 1 · Durée estimée : 60 min
Un double flux : archive complète compressée et flux SIEM réduit d'au moins 50 %, avec la mesure dans Monitoring.Mise en place #
Étapes guidées, avec leur correction.
1. Stockage S3 et faux SIEM
Pourquoi ? MinIO joue le rôle de S3, un serveur d'écho celui du SIEM.
Créez un réseau commun, MinIO avec un bucketarchiveet un récepteur HTTPsiem.2. Destinations
Pourquoi ? Deux destinations aux rôles opposés : tout garder, ou n'envoyer que l'utile.
Créezout_s3_archive(Amazon S3 : endpointhttp://minio:9000, bucketarchive, cléscribl/cribl-lab-2026, signature v4, JSON gzip) etout_siem(Webhook :http://siem:8080/, JSON).3. Routes en double flux
Pourquoi ? La route non finale garantit l'archive complète avant toute réduction.
Ajoutez en tête :fw_archive(filtreappname=='pan', pipelinepassthru,out_s3_archive, Final désactivé), puisfw_siem(même filtre, pipelinepl_fw_reduceà créer,out_siem, Final). Envoyez les données.4. Parser et nettoyer
Pourquoi ? Les champs vides et constants coûtent sans rien apporter.
Danspl_fw_reduce: Parser en mode Extract, type Key=Value surmessage; puis Eval qui retirepad*,serial,vsyset_raw.5. Drop, Suppress, Aggregations
Pourquoi ? Chaque fonction cible un type de gaspillage différent.
Ajoutez : Drop du DNS autorisé ; Suppress des refus identiques (clé source + port, 1 par 5 minutes) ; Aggregations du trafic SSL autorisé par minute. Les refus restent visibles (avec un compteur).6. Mesurer
Pourquoi ? Le gain doit être prouvé, et les détections préservées.
Renvoyez les 2 000 lignes. Comparez dans Monitoring › Data › Destinations les octets deout_s3_archiveetout_siem, vérifiez l'archive dans MinIO et que tous les couples source/port refusés figurent au SIEM.
Niveau de difficulté : ●●●○○ (3/5)
Mon suivi
Connectez-vous pour suivre votre progression et prendre des notes. Se connecter
💬 Questions sur cette leçon
Aucune question pour l'instant : soyez le premier à demander de l'aide ou à partager votre configuration.
Articles recommandés
Réduire, transformer et optimiser les volumes avec Cribl
Réduire le volume envoyé aux SIEM et outils d'observabilité sans perdre d'information utile : Dro...
Archiver, rejouer et rechercher : S3, Replay, Cribl Lake et Cribl Search
Garder toutes les données à bas coût et les retrouver à la demande : destination S3 partitionnée,...
Cribl : le pipeline de données pour l'observabilité et la sécurité
Découvrir Cribl : pourquoi un pipeline de données de télémétrie, la suite Cribl (Stream, Edge, La...
Réduire, masquer et router la télémétrie avec Bindplane
Réduire les coûts d'ingestion avec Bindplane : filtres de sévérité, déduplication, échantillonnag...
Logs dans Datadog : collecte, pipelines, index et maîtrise du volume
Collecter les logs avec l'agent, les structurer avec pipelines et processeurs (grok), utiliser fa...
Sécurité avec Datadog : Cloud SIEM, Cloud Security et protection des applications
Découvrir les produits de sécurité de Datadog : Cloud SIEM et règles de détection, Cloud Security...
Elastic Common Schema (ECS) : le format standard des données Elastic et son rôle dans Elastic SIEM
Comprendre l'Elastic Common Schema (ECS) : format standard des champs dans Elasticsearch, convent...
Elastic Security : SIEM, règles de détection et investigation
Utiliser Elastic Security comme SIEM : sources de données ECS, types de règles de détection (quer...
Pipelines et fonctions : parser, enrichir, masquer
Construire des pipelines Cribl Stream : pré-traitement, traitement et post-traitement, catalogue ...