RousselTMLEARNING

TP · Cribl : de la découverte à l'expertise

TP : Parser, enrichir et masquer des logs Apache avec correction

La correction est intégrée au TP (Voir les encadrés de couleur vert)

Ce que vous allez apprendre dans ce TP
  • Configurer une source HEC
  • Extraire des champs avec Regex Extract
  • Enrichir avec Lookup
  • Masquer avec Mask
  • Tester dans l'aperçu et brancher la route

Introduction #

Ce que vous allez apprendre dans cette section
  • Configurer une source HEC
  • Extraire des champs avec Regex Extract
  • Enrichir avec Lookup
  • Masquer avec Mask
  • Tester dans l'aperçu et brancher la route

Contexte. Les logs d'accès du site marchand contiennent l'adresse e-mail des clients dans les URL. Le SIEM ne doit plus la recevoir en clair, et les analystes veulent une catégorie lisible pour chaque code HTTP.

Prérequis : un poste avec Docker et Docker Compose (4 Go de mémoire libre), curl et jq, l'instance du TP 1  ·  Durée estimée : 50 min

Un pipeline qui transforme une ligne Apache brute en événement structuré, enrichi et sans donnée personnelle en clair.

Mise en place #

Étapes guidées, avec leur correction.

  1. 1. Source HEC et données

    Pourquoi ? HEC est le protocole HTTP de Splunk, très utilisé par les applications.

    Créez une source Splunk HEC in_hec sur le port 8088 avec le jeton tp2-hec-token, puis envoyez 100 lignes Apache.
    Voir la correction
    HEC=http://localhost:8088/services/collector/event
    TOKEN='tp2-hec-token'
    for i in $(seq 1 100); do
      s=$(shuf -e 200 200 200 301 404 500 503 -n1)
      curl -s $HEC -H "Authorization: Splunk $TOKEN" -d "{\"sourcetype\":\"apache:access\",\"event\":\"10.1.2.$((i % 20)) - - [$(date '+%d/%b/%Y:%H:%M:%S %z')] \\\"GET /api/produit/$((i % 7))?email=client$i@exemple.fr HTTP/1.1\\\" $s $((RANDOM % 5000))\"}" >/dev/null
    done
  2. 2. Capturer un échantillon

    Pourquoi ? Le pipeline se construit sur de vraies lignes.

    Capturez 100 événements de in_hec et enregistrez-les comme échantillon apache_access.log. Créez le pipeline pl_apache et chargez l'échantillon dans l'aperçu.
    Voir la correction
    # Processing › Pipelines › Add Pipeline › pl_apache
    # Sample Data › Capture Data › filter: __inputId=='splunk_hec:in_hec' › Save as apache_access.log
  3. 3. Extraire les champs

    Pourquoi ? Des champs structurés permettent de filtrer, agréger et router.

    Ajoutez une fonction Regex Extract sur _raw qui crée client, method, uri, status et bytes, puis Numerify pour convertir status et bytes en nombres.
    Voir la correction
    /^(?<client>\S+) \S+ \S+ \[[^\]]+\] "(?<method>\S+) (?<uri>\S+) [^"]*" (?<status>\d{3}) (?<bytes>\d+)/
  4. 4. Enrichir

    Pourquoi ? Une catégorie lisible évite à chaque analyste de mémoriser les codes HTTP.

    Créez la table http_status.csv dans Processing › Knowledge › Lookups, puis une fonction Lookup qui ajoute status_category.
    Voir la correction
    status,category
    200,succes
    301,redirection
    404,client
    500,serveur
    503,serveur
    # Lookup: file http_status.csv · lookup field status = event field status · output category → status_category
  5. 5. Masquer les e-mails

    Pourquoi ? Le haché permet encore de compter les clients distincts, sans révéler leur adresse.

    Ajoutez une fonction Mask sur _raw et uri qui remplace la valeur de email= par son SHA-256, puis un Eval qui ajoute env='prod'.
    Voir la correction
    Match regex:   /(email=)([^&\s]+)/g
    Replace expr:  `${g1}${C.Mask.sha256(g2)}`
    Eval:          env = 'prod'
  6. 6. Brancher et vérifier

    Pourquoi ? L'aperçu prouve la logique, la sortie prouve le branchement.

    Vérifiez dans l'aperçu (OUT) qu'aucune adresse en clair ne subsiste. Ajoutez une route apache (filtre sourcetype=='apache:access', pipeline pl_apache, destination out_files), renvoyez des données et contrôlez les fichiers.
    Voir la correction
    sleep 70
    zcat $(find $HOME/cribl-out -path '*apache*' -name '*.json.gz') | jq -c '{status, status_category, uri}' | head -5
    zcat $(find $HOME/cribl-out -path '*apache*' -name '*.json.gz') | grep -c '@exemple.fr' || echo 0

Niveau de difficulté : ●●●○○ (3/5)

Mon suivi

  • ⏱ Durée estimée : ≈ 50 min

Connectez-vous pour suivre votre progression et prendre des notes. Se connecter

💬 Questions sur cette leçon

Aucune question pour l'instant : soyez le premier à demander de l'aide ou à partager votre configuration.

Poser une question sur cette leçon →

Articles recommandés

Pipelines et fonctions : parser, enrichir, masquer

Construire des pipelines Cribl Stream : pré-traitement, traitement et post-traitement, catalogue ...

Réduire, masquer et router la télémétrie avec Bindplane

Réduire les coûts d'ingestion avec Bindplane : filtres de sévérité, déduplication, échantillonnag...

Sources, destinations et routes dans Cribl Stream

Recevoir et envoyer des données avec Cribl Stream : sources push, pull, collecteurs et internes, ...

Logs dans Datadog : collecte, pipelines, index et maîtrise du volume

Collecter les logs avec l'agent, les structurer avec pipelines et processeurs (grok), utiliser fa...

Logstash : enrichir, tester, superviser et déployer sur Kubernetes

Enrichir avec translate, geoip et elasticsearch, consommer Kafka, tester ses pipelines, supervise...

Réduire, transformer et optimiser les volumes avec Cribl

Réduire le volume envoyé aux SIEM et outils d'observabilité sans perdre d'information utile : Dro...

Cribl : le pipeline de données pour l'observabilité et la sécurité

Découvrir Cribl : pourquoi un pipeline de données de télémétrie, la suite Cribl (Stream, Edge, La...

Fluent Bit : parsers et filters, structurer et transformer les logs

Structurer et transformer les logs dans Fluent Bit : parsers (json, regex, logfmt, ltsv), parsers...

Cribl Edge : collecter au plus près des sources

Déployer Cribl Edge sur Linux, Windows et Kubernetes : rôle de l'agent, flottes et sous-flottes, ...

Soutenir

♥ SOUTENIR

Soutenez RousselTM Learning

Les formations, articles, TP et attestations restent gratuits et sans publicité intrusive. Une contribution libre, du montant de votre choix, finance l’hébergement, les environnements de TP et l’écriture de nouveaux contenus.

Contribuer avec PayPal Montant libre · carte bancaire ou compte PayPalEn savoir plus
QR code PayPal
Ou scannez ce QR code avec votre téléphone

Merci, chaque contribution compte !