La correction est intégrée au TP (Voir les encadrés de couleur vert)
Ce que vous allez apprendre dans ce TP
- Déployer un stockage S3 et un faux SIEM
- Router en double flux
- Supprimer le bruit avec Drop
- Dédoublonner et agréger
- Mesurer la réduction
Introduction #
Ce que vous allez apprendre dans cette section
- Déployer un stockage S3 et un faux SIEM
- Router en double flux
- Supprimer le bruit avec Drop
- Dédoublonner et agréger
- Mesurer la réduction
Contexte. La licence du SIEM est dépassée chaque mois à cause des logs de pare-feu. La sécurité accepte de filtrer, à condition de pouvoir tout récupérer et que les refus restent tous visibles.
Prérequis : un poste avec Docker et Docker Compose (4 Go de mémoire libre), curl et jq, l'instance du TP 1 · Durée estimée : 60 min
Un double flux : archive complète compressée et flux SIEM réduit d'au moins 50 %, avec la mesure dans Monitoring.Mise en place #
Étapes guidées, avec leur correction.
1. Stockage S3 et faux SIEM
Pourquoi ? MinIO joue le rôle de S3, un serveur d'écho celui du SIEM.
Créez un réseau commun, MinIO avec un bucketarchiveet un récepteur HTTPsiem.Voir la correction
docker network create cribl-lab 2>/dev/null; docker network connect cribl-lab cribl docker run -d --name minio --network cribl-lab -p 9001:9001 \ -e MINIO_ROOT_USER=cribl -e MINIO_ROOT_PASSWORD=cribl-lab-2026 \ minio/minio:latest server /data --console-address :9001 docker run --rm --network cribl-lab --entrypoint sh minio/mc:latest -c \ 'mc alias set m http://minio:9000 cribl cribl-lab-2026 && mc mb m/archive' docker run -d --name siem --network cribl-lab mendhak/http-https-echo:latest2. Destinations
Pourquoi ? Deux destinations aux rôles opposés : tout garder, ou n'envoyer que l'utile.
Créezout_s3_archive(Amazon S3 : endpointhttp://minio:9000, bucketarchive, cléscribl/cribl-lab-2026, signature v4, JSON gzip) etout_siem(Webhook :http://siem:8080/, JSON).Voir la correction
Partitioning expression (out_s3_archive): `${C.Time.strftime(_time, '%Y/%m/%d/%H')}/${sourcetype}`3. Routes en double flux
Pourquoi ? La route non finale garantit l'archive complète avant toute réduction.
Ajoutez en tête :fw_archive(filtreappname=='pan', pipelinepassthru,out_s3_archive, Final désactivé), puisfw_siem(même filtre, pipelinepl_fw_reduceà créer,out_siem, Final). Envoyez les données.Voir la correction
cat > gen_fw.sh <<'EOF' #!/bin/sh # 2000 lignes de pare-feu au format clé=valeur, dont beaucoup de trafic DNS autorisé et de doublons for i in $(seq 1 2000); do case $((i % 10)) in 0|1|2|3|4) l="action=allow src=10.0.$((i % 30)).$((i % 200)) dst=10.0.0.53 dport=53 proto=udp app=dns bytes=$((60 + i % 40))" ;; 5|6) l="action=allow src=10.0.$((i % 30)).$((i % 200)) dst=93.184.216.$((i % 5)) dport=443 proto=tcp app=ssl bytes=$((800 + i % 900))" ;; 7|8) l="action=deny src=203.0.113.$((i % 3)) dst=10.0.1.10 dport=22 proto=tcp app=ssh bytes=0" ;; 9) l="action=deny src=198.51.100.$((i % 50)) dst=10.0.1.20 dport=3389 proto=tcp app=rdp bytes=0" ;; esac echo "$l rule=r$((i % 4)) zone=dmz vsys=vsys1 serial=0123456789 pad1= pad2= pad3=" done EOF chmod +x gen_fw.sh ./gen_fw.sh | while read -r l; do logger -n 127.0.0.1 -P 9514 -T -t pan "$l"; done4. Parser et nettoyer
Pourquoi ? Les champs vides et constants coûtent sans rien apporter.
Danspl_fw_reduce: Parser en mode Extract, type Key=Value surmessage; puis Eval qui retirepad*,serial,vsyset_raw.Voir la correction
Parser: mode Extract · type Key=Value · source field message Eval: remove fields pad*, serial, vsys, _raw, message5. Drop, Suppress, Aggregations
Pourquoi ? Chaque fonction cible un type de gaspillage différent.
Ajoutez : Drop du DNS autorisé ; Suppress des refus identiques (clé source + port, 1 par 5 minutes) ; Aggregations du trafic SSL autorisé par minute. Les refus restent visibles (avec un compteur).Voir la correction
Drop filter: action=='allow' && dport==53 Suppress filter: action=='deny' key: `${src}:${dport}` allow 1 per 300 s Aggregations filter: action=='allow' && app=='ssl' window 60s aggregates: count().as(flows), sum(bytes).as(bytes) group by: src, dst, dport6. Mesurer
Pourquoi ? Le gain doit être prouvé, et les détections préservées.
Renvoyez les 2 000 lignes. Comparez dans Monitoring › Data › Destinations les octets deout_s3_archiveetout_siem, vérifiez l'archive dans MinIO et que tous les couples source/port refusés figurent au SIEM.Voir la correction
./gen_fw.sh | while read -r l; do logger -n 127.0.0.1 -P 9514 -T -t pan "$l"; done; sleep 90 docker run --rm --network cribl-lab --entrypoint sh minio/mc:latest -c \ 'mc alias set m http://minio:9000 cribl cribl-lab-2026 >/dev/null && mc du -r m/archive' docker logs siem 2>&1 | grep -o '"action":"deny"' | wc -l # expected: SIEM bytes ≤ 50 % of archive bytes; every deny src:dport present at least once
Niveau de difficulté : ●●●○○ (3/5)
Mon suivi
Connectez-vous pour suivre votre progression et prendre des notes. Se connecter
💬 Questions sur cette leçon
Aucune question pour l'instant : soyez le premier à demander de l'aide ou à partager votre configuration.
Articles recommandés
Réduire, transformer et optimiser les volumes avec Cribl
Réduire le volume envoyé aux SIEM et outils d'observabilité sans perdre d'information utile : Dro...
Archiver, rejouer et rechercher : S3, Replay, Cribl Lake et Cribl Search
Garder toutes les données à bas coût et les retrouver à la demande : destination S3 partitionnée,...
Cribl : le pipeline de données pour l'observabilité et la sécurité
Découvrir Cribl : pourquoi un pipeline de données de télémétrie, la suite Cribl (Stream, Edge, La...
Réduire, masquer et router la télémétrie avec Bindplane
Réduire les coûts d'ingestion avec Bindplane : filtres de sévérité, déduplication, échantillonnag...
Logs dans Datadog : collecte, pipelines, index et maîtrise du volume
Collecter les logs avec l'agent, les structurer avec pipelines et processeurs (grok), utiliser fa...
Sécurité avec Datadog : Cloud SIEM, Cloud Security et protection des applications
Découvrir les produits de sécurité de Datadog : Cloud SIEM et règles de détection, Cloud Security...
Elastic Common Schema (ECS) : le format standard des données Elastic et son rôle dans Elastic SIEM
Comprendre l'Elastic Common Schema (ECS) : format standard des champs dans Elasticsearch, convent...
Elastic Security : SIEM, règles de détection et investigation
Utiliser Elastic Security comme SIEM : sources de données ECS, types de règles de détection (quer...
Pipelines et fonctions : parser, enrichir, masquer
Construire des pipelines Cribl Stream : pré-traitement, traitement et post-traitement, catalogue ...