Pipelines de traitement

2. Pipelines de traitement #

Filtrage, parsing (JSON, Regex) et réétiquetage (Relabeling).

Traiter ligne par ligne #

loki.process applique des étapes, dans l'ordre. Elles partagent une zone de travail, la « carte extraite » : une étape y dépose des valeurs, une suivante les utilise.

loki.process "app" {
  forward_to = [loki.write.local.receiver]

  stage.json {
    expressions = { level = "", service = "", trace_id = "", ts = "", msg = "" }
  }

  stage.drop {
    source = "level"
    value  = "debug"
  }

  stage.timestamp {
    source = "ts"
    format = "RFC3339"
  }

  stage.labels {
    values = { level = "", service = "" }
  }

  stage.structured_metadata {
    values = { trace_id = "" }
  }

  stage.static_labels {
    values = { env = "production" }
  }

  stage.output {
    source = "msg"
  }
}

loki.write "local" {
  endpoint {
    url = "http://loki:3100/loki/api/v1/push"
  }
}

Ce que produit ce pipeline #

Testé de bout en bout avec un vrai Loki, sur ce fichier :

{"ts":"2026-11-05T10:00:00Z","level":"error","service":"paiement","trace_id":"abc123","msg":"timeout banque"}
{"ts":"2026-11-05T10:00:00Z","level":"debug","service":"paiement","trace_id":"abc124","msg":"détail inutile"}
{"ts":"2026-11-05T10:00:00Z","level":"info","service":"panier","trace_id":"abc125","msg":"article ajouté"}
ligne non json

Les étapes les plus utiles #

Ne confondez pas stage.labels et stage.static_labels. Dans stage.labels { values = { env = "production" } }, production est le nom d'une valeur extraite, pas un texte. alloy validate l'accepte, mais nous avons vérifié que l'étiquette n'apparaît jamais. Utilisez stage.static_labels.

Attention à la cardinalité : chaque combinaison d'étiquettes crée un flux dans Loki. trace_id ou un identifiant utilisateur en étiquette dégrade vite les performances : c'est le rôle de stage.structured_metadata.

Les piles d'appels sur plusieurs lignes #

Sans précaution, chaque ligne d'une pile Java devient un log distinct. stage.multiline les regroupe : une nouvelle entrée commence à chaque ligne qui correspond à firstline.

loki.process "java" {
  forward_to = [loki.write.local.receiver]

  stage.multiline {
    firstline     = "^\\d{4}-\\d{2}-\\d{2}"
    max_wait_time = "3s"
  }

  stage.regex {
    expression = "^\\S+ \\S+ (?P<level>[A-Z]+) "
  }

  stage.labels {
    values = { level = "" }
  }
}

loki.write "local" {
  endpoint {
    url = "http://loki:3100/loki/api/v1/push"
  }
}

Testé : les 3 lignes de la pile forment une seule entrée, avec level=ERROR.