RousselTMLEARNING

Article · Cribl : de la découverte à l'expertise

Pipelines et fonctions

1. Où placer un pipeline #

Trois emplacements.

Les trois places #

Places d'un pipeline

Un pipeline est une liste ordonnée de fonctions. Chaque fonction a un filtre (elle ne s'applique qu'aux événements qui y répondent) et peut être marquée Final pour arrêter le traitement des événements concernés. Les fonctions se regroupent pour la lisibilité et se désactivent sans être supprimées.

2. Le catalogue des fonctions #

Les plus utilisées.

Par usage #

Pipeline type
UsageFonctions
ExtraireParser (JSON, CSV, clé=valeur, délimité, Grok), Regex Extract, Auto Timestamp, XML / JSON Unroll
ModifierEval, Rename, Flatten, Numerify, Serialize, Code
EnrichirLookup, GeoIP, DNS Lookup, Redis
ProtégerMask (expressions régulières, hachage), Drop de champs sensibles
RéduireDrop, Regex Filter, Sampling, Dynamic Sampling, Suppress, Aggregations, Rollup Metrics
MétriquesPublish Metrics, Prometheus Publisher, Aggregations
OrganiserChain (appeler un autre pipeline), Comment, groupes
À savoir : La fonction Tee est dépréciée depuis la version 4.18 : utilisez des routes non finales ou l'Output Router pour dupliquer un flux.

3. Les expressions Cribl #

Du JavaScript partout.

Exemples #

Filtres, valeurs calculées et noms de fichiers s'écrivent en JavaScript, enrichi d'un objet C de fonctions utilitaires :

ExpressionRésultat
status >= 500vrai pour les erreurs serveur
uri.split('?')[0]l'URL sans paramètres
C.Mask.md5(user)haché MD5 d'un identifiant (pseudonymisation)
C.Time.strftime(_time, '%Y-%m-%d')date formatée
C.Lookup('assets.csv', 'ip').match(src_ip, 'owner')propriétaire de l'adresse dans une table
C.Net.cidrMatch('192.168.0.0/16', dst_ip)appartenance à un réseau
`${host}:${port}`chaîne composée (gabarit)
Attention : Les valeurs de champs dans Eval sont des expressions : une chaîne s'écrit entre apostrophes ('prod'), sinon Cribl cherche un champ nommé prod.

4. Un pipeline complet #

Logs d'accès Apache.

Configuration #

# local/cribl/pipelines/apache_access/conf.yml (extrait)
functions:
  - id: regex_extract
    filter: "true"
    conf:
      source: _raw
      regex: '/^(?<client>\S+) \S+ \S+ \[[^\]]+\] "(?<method>\S+) (?<uri>\S+) [^"]*" (?<status>\d{3}) (?<bytes>\d+|-)/'
  - id: lookup
    conf:
      file: http_status.csv
      inFields: [{ eventField: status, lookupField: status }]
      outFields: [{ lookupField: category, eventField: status_category }]
  - id: mask
    conf:
      fields: [_raw]
      rules: [{ matchRegex: '/(email=)[^&\s]+/g', replaceExpr: "`${g1}${C.Mask.md5(g0)}`" }]
  - id: eval
    conf:
      add: [{ name: env, value: "'prod'" }]
      remove: [bytes]
  1. Regex Extract crée les champs client, method, uri, status, bytes.
  2. Lookup ajoute status_category depuis une table CSV (Processing › Knowledge › Lookups).
  3. Mask remplace les adresses e-mail des paramètres par un haché.
  4. Eval ajoute env et retire un champ inutile.

On construit un pipeline dans l'interface, pas en YAML : l'extrait montre seulement ce qui est enregistré dans local/.

L'aperçu #

  • Chargez un fichier d'échantillon dans le panneau de droite : IN montre l'événement entrant, OUT le résultat, avec les champs ajoutés en vert et retirés en rouge.
  • L'icône de statistiques indique le nombre d'événements et d'octets avant et après : la réduction se mesure dès la conception.
  • Full preview exécute aussi la route et le pipeline de post-traitement pour voir l'événement tel qu'il partira.
Bonne Pratique : Pour la performance : filtrez tôt (Drop en tête), préférez Parser à de longues expressions régulières, ancrez vos regex, et réservez la fonction Code aux cas sans équivalent.

Commandes à connaître #

Commandes à connaître
  • C.Mask.md5(user) : pseudonymiser un champ
  • C.Lookup('assets.csv','ip').match(src_ip,'owner') : enrichir depuis une table
  • C.Time.strftime(_time, '%Y-%m-%d') : formater une date
  • /(?<status>\d{3})/ : groupe nommé de Regex Extract

Sources #

Vérifié en novembre 2026 (Cribl 4.20) : Cribl publie une version mineure environ tous les deux mois, consultez les notes de version avant de vous appuyer sur un détail.

📄 Pipelines et fonctions : parser, enrichir, masquer →

Mon suivi

  • ⏱ Durée estimée : ≈ 7 min

Connectez-vous pour suivre votre progression et prendre des notes. Se connecter

💬 Questions sur cette leçon

Aucune question pour l'instant : soyez le premier à demander de l'aide ou à partager votre configuration.

Poser une question sur cette leçon →

Articles recommandés

Cribl Stream en production : architecture distribuée, files persistantes et supervision

Passer Cribl Stream en production : Leader, groupes de Workers et processus, commit et déploiemen...

Automatiser Cribl : API REST, Packs, Git et Terraform

Gérer Cribl comme du code : API REST (authentification, chemins par groupe, commit et déploiement...

Logstash : enrichir, tester, superviser et déployer sur Kubernetes

Enrichir avec translate, geoip et elasticsearch, consommer Kafka, tester ses pipelines, supervise...

OpenTelemetry Collector, Grafana Alloy et Bindplane : comparer trois approches des pipelines de télémétrie

Comparatif détaillé de trois façons de gérer des pipelines de télémétrie : l'OpenTelemetry Collec...

Installer et administrer Cribl Stream

Installer Cribl Stream en Docker ou sur Linux, le lancer comme service, comprendre $CRIBL_HOME, d...

Cribl Edge : collecter au plus près des sources

Déployer Cribl Edge sur Linux, Windows et Kubernetes : rôle de l'agent, flottes et sous-flottes, ...

Logstash en production : files persistantes, DLQ et multi-pipelines

Rendre Logstash fiable en production : file persistante, dead letter queue, plusieurs pipelines e...

Politiques d'agent, intégrations, data streams et pipelines

Construire des politiques d'agent, ajouter des intégrations (System, Nginx, Custom Logs), choisir...

Alimenter OpenSearch : pipelines d'ingestion et Data Prepper

Transformer les données avec les pipelines d'ingestion, collecter avec Data Prepper, recevoir l'O...

Soutenir

♥ SOUTENIR

Soutenez RousselTM Learning

Les formations, articles, TP et attestations restent gratuits et sans publicité intrusive. Une contribution libre, du montant de votre choix, finance l’hébergement, les environnements de TP et l’écriture de nouveaux contenus.

Contribuer avec PayPal Montant libre · carte bancaire ou compte PayPalEn savoir plus
QR code PayPal
Ou scannez ce QR code avec votre téléphone

Merci, chaque contribution compte !