Le concept de "Programmable Pipelines"

2. Le concept de "Programmable Pipelines" #

Introduction à la syntaxe déclarative.

Pourquoi « programmable » ? #

Un agent classique se configure avec un gros fichier YAML : vous décrivez quoi collecter, et son fonctionnement interne reste figé. Alloy inverse la logique : vous assemblez des composants, comme des briques, et vous décidez du chemin des données.

Un premier pipeline #

Deux composants suffisent. L'un collecte, l'autre envoie. Le lien entre les deux est une simple référence :

prometheus.scrape "app" {
  targets    = [{ "__address__" = "localhost:8080" }]
  forward_to = [prometheus.remote_write.mimir.receiver]
}

prometheus.remote_write "mimir" {
  endpoint {
    url = "http://mimir:9009/api/v1/push"
  }
}

forward_to pointe vers receiver, une valeur publiée (exportée) par l'autre composant. C'est toute la mécanique du langage : une sortie est branchée sur une entrée. L'ordre des blocs dans le fichier n'a aucune importance, car Alloy déduit l'ordre d'exécution de ces références.

Ce que l'assemblage permet #

Envoyer vers plusieurs destinations. forward_to est une liste : les mêmes métriques partent vers deux backends sans dupliquer la collecte.

prometheus.relabel "filtre" {
  rule {
    source_labels = ["__name__"]
    regex         = "go_gc_.*"
    action        = "drop"
  }
  forward_to = [
    prometheus.remote_write.mimir.receiver,
    prometheus.remote_write.cloud.receiver,
  ]
}

prometheus.remote_write "mimir" {
  endpoint {
    url = "http://mimir:9009/api/v1/push"
  }
}

prometheus.remote_write "cloud" {
  endpoint {
    url = sys.env("GRAFANA_CLOUD_URL")
  }
}

Décider selon le contenu. Ici, les logs de débogage sont écartés avant l'envoi. Dans nos essais, sur 4 lignes lues, 3 sont arrivées dans Loki.

loki.process "routage" {
  forward_to = [loki.write.long_terme.receiver]

  stage.json {
    expressions = { level = "" }
  }

  stage.drop {
    source = "level"
    value  = "debug"
  }
}

loki.write "long_terme" {
  endpoint {
    url = "http://loki:3100/loki/api/v1/push"
  }
}

Réutiliser. Un même traitement se factorise avec declare et se partage avec import.git (voir la leçon Variables et fonctions).

Statique ou programmable #

À retenir : lisez une configuration Alloy en suivant les forward_to. Vous obtenez le chemin réel des données, et l'interface sur le port 12345 dessine ce même graphe.