RousselTMLEARNING

Observabilité

Pipelines et fonctions : parser, enrichir, masquer

Construire des pipelines Cribl Stream : pré-traitement, traitement et post-traitement, catalogue des fonctions (Parser, Regex Extract, Eval, Lookup, GeoIP, Mask, Drop, Serialize…), expressions Cribl en JavaScript, aperçu avec fichiers d'échantillon et bonnes pratiques de performance.

1. Où placer un pipeline #

Trois emplacements.

Les trois places #

Places d'un pipeline

Un pipeline est une liste ordonnée de fonctions. Chaque fonction a un filtre (elle ne s'applique qu'aux événements qui y répondent) et peut être marquée Final pour arrêter le traitement des événements concernés. Les fonctions se regroupent pour la lisibilité et se désactivent sans être supprimées.

2. Le catalogue des fonctions #

Les plus utilisées.

Par usage #

Pipeline type
UsageFonctions
ExtraireParser (JSON, CSV, clé=valeur, délimité, Grok), Regex Extract, Auto Timestamp, XML / JSON Unroll
ModifierEval, Rename, Flatten, Numerify, Serialize, Code
EnrichirLookup, GeoIP, DNS Lookup, Redis
ProtégerMask (expressions régulières, hachage), Drop de champs sensibles
RéduireDrop, Regex Filter, Sampling, Dynamic Sampling, Suppress, Aggregations, Rollup Metrics
MétriquesPublish Metrics, Prometheus Publisher, Aggregations
OrganiserChain (appeler un autre pipeline), Comment, groupes
À savoir : La fonction Tee est dépréciée depuis la version 4.18 : utilisez des routes non finales ou l'Output Router pour dupliquer un flux.

3. Les expressions Cribl #

Du JavaScript partout.

Exemples #

Filtres, valeurs calculées et noms de fichiers s'écrivent en JavaScript, enrichi d'un objet C de fonctions utilitaires :

ExpressionRésultat
status >= 500vrai pour les erreurs serveur
uri.split('?')[0]l'URL sans paramètres
C.Mask.md5(user)haché MD5 d'un identifiant (pseudonymisation)
C.Time.strftime(_time, '%Y-%m-%d')date formatée
C.Lookup('assets.csv', 'ip').match(src_ip, 'owner')propriétaire de l'adresse dans une table
C.Net.cidrMatch('192.168.0.0/16', dst_ip)appartenance à un réseau
`${host}:${port}`chaîne composée (gabarit)
Attention : Les valeurs de champs dans Eval sont des expressions : une chaîne s'écrit entre apostrophes ('prod'), sinon Cribl cherche un champ nommé prod.

4. Un pipeline complet #

Logs d'accès Apache.

Configuration #

# local/cribl/pipelines/apache_access/conf.yml (extrait)
functions:
  - id: regex_extract
    filter: "true"
    conf:
      source: _raw
      regex: '/^(?<client>\S+) \S+ \S+ \[[^\]]+\] "(?<method>\S+) (?<uri>\S+) [^"]*" (?<status>\d{3}) (?<bytes>\d+|-)/'
  - id: lookup
    conf:
      file: http_status.csv
      inFields: [{ eventField: status, lookupField: status }]
      outFields: [{ lookupField: category, eventField: status_category }]
  - id: mask
    conf:
      fields: [_raw]
      rules: [{ matchRegex: '/(email=)[^&\s]+/g', replaceExpr: "`${g1}${C.Mask.md5(g0)}`" }]
  - id: eval
    conf:
      add: [{ name: env, value: "'prod'" }]
      remove: [bytes]
  1. Regex Extract crée les champs client, method, uri, status, bytes.
  2. Lookup ajoute status_category depuis une table CSV (Processing › Knowledge › Lookups).
  3. Mask remplace les adresses e-mail des paramètres par un haché.
  4. Eval ajoute env et retire un champ inutile.

On construit un pipeline dans l'interface, pas en YAML : l'extrait montre seulement ce qui est enregistré dans local/.

L'aperçu #

  • Chargez un fichier d'échantillon dans le panneau de droite : IN montre l'événement entrant, OUT le résultat, avec les champs ajoutés en vert et retirés en rouge.
  • L'icône de statistiques indique le nombre d'événements et d'octets avant et après : la réduction se mesure dès la conception.
  • Full preview exécute aussi la route et le pipeline de post-traitement pour voir l'événement tel qu'il partira.
Bonne Pratique : Pour la performance : filtrez tôt (Drop en tête), préférez Parser à de longues expressions régulières, ancrez vos regex, et réservez la fonction Code aux cas sans équivalent.

Commandes à connaître #

Commandes à connaître
  • C.Mask.md5(user) : pseudonymiser un champ
  • C.Lookup('assets.csv','ip').match(src_ip,'owner') : enrichir depuis une table
  • C.Time.strftime(_time, '%Y-%m-%d') : formater une date
  • /(?<status>\d{3})/ : groupe nommé de Regex Extract

Sources #

Vérifié en novembre 2026 (Cribl 4.20) : Cribl publie une version mineure environ tous les deux mois, consultez les notes de version avant de vous appuyer sur un détail.

Articles liés

Cribl : le pipeline de données pour l'observabilité et la sécurité

Découvrir Cribl : pourquoi un pipeline de données de télémétrie, la suite Cribl (Stream, Edge, Lake, Search, …

Installer et administrer Cribl Stream

Installer Cribl Stream en Docker ou sur Linux, le lancer comme service, comprendre $CRIBL_HOME, default et lo…

Sources, destinations et routes dans Cribl Stream

Recevoir et envoyer des données avec Cribl Stream : sources push, pull, collecteurs et internes, découpage en…

Pour aller plus loin

Soutenir

♥ SOUTENIR

Soutenez RousselTM Learning

Les formations, articles, TP et attestations restent gratuits et sans publicité intrusive. Une contribution libre, du montant de votre choix, finance l’hébergement, les environnements de TP et l’écriture de nouveaux contenus.

Contribuer avec PayPal Montant libre · carte bancaire ou compte PayPalEn savoir plus
QR code PayPal
Ou scannez ce QR code avec votre téléphone

Merci, chaque contribution compte !