RousselTMLEARNING

TP · Cribl : de la découverte à l'expertise

TP : Installer Cribl Stream et créer un premier flux avec correction

La correction est intégrée au TP (Voir les encadrés de couleur vert)

Ce que vous allez apprendre dans ce TP
  • Installer Cribl Stream en Docker
  • Créer une source syslog
  • Capturer des événements
  • Créer une destination et une route
  • Vérifier dans Monitoring

Introduction #

Ce que vous allez apprendre dans cette section
  • Installer Cribl Stream en Docker
  • Créer une source syslog
  • Capturer des événements
  • Créer une destination et une route
  • Vérifier dans Monitoring

Contexte. Votre équipe veut évaluer Cribl avant de lui confier les logs de production. Il faut une instance de test et un premier flux de bout en bout.

Prérequis : un poste avec Docker et Docker Compose (4 Go de mémoire libre), curl et jq  ·  Durée estimée : 40 min

Une instance Cribl persistante qui reçoit du syslog et l'écrit dans des fichiers JSON compressés.

Mise en place #

Étapes guidées, avec leur correction.

  1. 1. Lancer Cribl Stream

    Pourquoi ? Le volume garde la configuration si le conteneur est recréé.

    Démarrez le conteneur avec un volume de configuration et un dossier de sortie, puis attendez que l'API réponde.
    Voir la correction
    mkdir -p $HOME/cribl-config $HOME/cribl-out
    docker run -d --name cribl --restart unless-stopped \
      -p 9000:9000 -p 9514:9514 -p 9514:9514/udp -p 8088:8088 \
      -e CRIBL_VOLUME_DIR=/opt/cribl/config-volume \
      -v $HOME/cribl-config:/opt/cribl/config-volume \
      -v $HOME/cribl-out:/data/out \
      cribl/cribl:latest
    until curl -sf http://localhost:9000/api/v1/health >/dev/null; do sleep 2; done; echo ready
  2. 2. Se connecter

    Pourquoi ? Le mot de passe par défaut doit être changé immédiatement.

    Ouvrez http://localhost:9000, connectez-vous en admin / admin, changez le mot de passe et acceptez la licence gratuite.
    Voir la correction
    # Vérification par l'API avec le nouveau mot de passe
    export CRIBL_PASSWORD='<nouveau mot de passe>'
    curl -s -X POST localhost:9000/api/v1/auth/login -H 'Content-Type: application/json' \
      -d '{"username":"admin","password":"'"$CRIBL_PASSWORD"'"}' | jq -r '.token' | cut -c1-20
  3. 3. Créer la source syslog

    Pourquoi ? Une source définit le port d'écoute et les champs ajoutés à chaque événement.

    Dans Data › Sources › Syslog, créez in_syslog en TCP et UDP sur le port 9514, avec le champ sourcetype = 'syslog'. Envoyez quelques messages.
    Voir la correction
    for i in $(seq 1 50); do
      logger -n 127.0.0.1 -P 9514 -T -t app "user=u$((i % 5)) action=login status=$([ $((i % 7)) -eq 0 ] && echo failed || echo ok)"
    done
  4. 4. Observer en direct

    Pourquoi ? On regarde toujours les données avant de les transformer.

    Sur la source, ouvrez Live Data, relancez l'envoi, puis enregistrez la capture comme fichier d'échantillon syslog_app.log. Repérez _raw, _time, host, appname.
    Voir la correction
    # Live Data › Start Capture, puis / then / luego: Save as Sample File › syslog_app.log
    logger -n 127.0.0.1 -P 9514 -T -t app 'user=u1 action=login status=failed'
  5. 5. Destination et route

    Pourquoi ? La route décide quels événements vont où, avec quel pipeline.

    Créez une destination Filesystem out_files (dossier /data/out, JSON, gzip, partitionnement par sourcetype), puis une route syslog_vers_fichiers en tête de table : filtre __inputId.startsWith('syslog:in_syslog'), pipeline passthru, destination out_files.
    Voir la correction
    for i in $(seq 1 200); do logger -n 127.0.0.1 -P 9514 -T -t app "user=u$((i % 5)) action=view"; done
    sleep 70   # the Filesystem destination closes files after its open time
    find $HOME/cribl-out -name '*.json.gz' | head
    zcat $(find $HOME/cribl-out -name '*.json.gz' | head -1) | head -2 | jq .
  6. 6. Vérifier dans Monitoring

    Pourquoi ? Les compteurs prouvent que rien ne se perd entre l'entrée et la sortie.

    Dans Monitoring › Data, comparez les événements reçus par in_syslog et envoyés par out_files. Puis regardez le fichier de configuration créé.
    Voir la correction
    find $HOME/cribl-config -name 'routes.yml' -path '*local*' | xargs cat | head -30

Niveau de difficulté : ●●○○○ (2/5)

Mon suivi

  • ⏱ Durée estimée : ≈ 40 min

Connectez-vous pour suivre votre progression et prendre des notes. Se connecter

💬 Questions sur cette leçon

Aucune question pour l'instant : soyez le premier à demander de l'aide ou à partager votre configuration.

Poser une question sur cette leçon →

Articles recommandés

Installer et administrer Cribl Stream

Installer Cribl Stream en Docker ou sur Linux, le lancer comme service, comprendre $CRIBL_HOME, d...

Sources, destinations et routes dans Cribl Stream

Recevoir et envoyer des données avec Cribl Stream : sources push, pull, collecteurs et internes, ...

Cribl Stream en production : architecture distribuée, files persistantes et supervision

Passer Cribl Stream en production : Leader, groupes de Workers et processus, commit et déploiemen...

Bonnes pratiques Cribl Stream et Edge

Les bonnes pratiques pour exploiter Cribl en production : conception des routes et pipelines, nom...

Cribl : le pipeline de données pour l'observabilité et la sécurité

Découvrir Cribl : pourquoi un pipeline de données de télémétrie, la suite Cribl (Stream, Edge, La...

Réduire, transformer et optimiser les volumes avec Cribl

Réduire le volume envoyé aux SIEM et outils d'observabilité sans perdre d'information utile : Dro...

Cribl Edge : collecter au plus près des sources

Déployer Cribl Edge sur Linux, Windows et Kubernetes : rôle de l'agent, flottes et sous-flottes, ...

Pipelines et fonctions : parser, enrichir, masquer

Construire des pipelines Cribl Stream : pré-traitement, traitement et post-traitement, catalogue ...

Archiver, rejouer et rechercher : S3, Replay, Cribl Lake et Cribl Search

Garder toutes les données à bas coût et les retrouver à la demande : destination S3 partitionnée,...

Soutenir

♥ SOUTENIR

Soutenez RousselTM Learning

Les formations, articles, TP et attestations restent gratuits et sans publicité intrusive. Une contribution libre, du montant de votre choix, finance l’hébergement, les environnements de TP et l’écriture de nouveaux contenus.

Contribuer avec PayPal Montant libre · carte bancaire ou compte PayPalEn savoir plus
QR code PayPal
Ou scannez ce QR code avec votre téléphone

Merci, chaque contribution compte !