Transforms et enrich : résumer et enrichir les données

1. Les transforms #

Pivot et latest.

Pourquoi #

Les agrégations répondent à la volée, mais certaines questions portent sur des entités : le résumé de chaque client, la dernière position de chaque serveur. Une transform calcule ce résumé une fois, l'écrit dans un index de destination et le tient à jour.

Pivot #

PUT _transform/web-par-hote
{
  "source": { "index": "logs-nginx.access-*" },
  "dest":   { "index": "web-par-hote" },
  "pivot": {
    "group_by": {
      "hote":  { "terms": { "field": "host.name" } },
      "heure": { "date_histogram": { "field": "@timestamp", "calendar_interval": "1h" } }
    },
    "aggregations": {
      "requetes": { "value_count": { "field": "@timestamp" } },
      "octets":   { "sum": { "field": "http.response.body.bytes" } }
    }
  },
  "sync": { "time": { "field": "@timestamp", "delay": "60s" } },
  "frequency": "5m"
}
POST _transform/web-par-hote/_start

Latest #

PUT _transform/dernier-etat-hote
{
  "source": { "index": "metrics-system.cpu-*" },
  "dest":   { "index": "dernier-etat-hote" },
  "latest": { "unique_key": ["host.name"], "sort": "@timestamp" },
  "sync": { "time": { "field": "@timestamp" } }
}

Bonne pratique : Testez avec POST _transform/_preview avant de créer, et suivez GET _transform/<id>/_stats : documents traités, échecs, retard.

2. Enrichir à l'ingestion #

Enrich policies.

Politique et processeur #

PUT _enrich/policy/serveurs
{ "match": { "indices": "referentiel-serveurs", "match_field": "host.name", "enrich_fields": ["equipe", "environnement"] } }
POST _enrich/policy/serveurs/_execute

PUT _ingest/pipeline/logs-nginx.access@custom
{ "processors": [ { "enrich": { "policy_name": "serveurs", "field": "host.name", "target_field": "serveur" } } ] }

Erreur courante : Oublier de réexécuter la politique : l'index d'enrichissement est une copie figée du référentiel. Après une modification du référentiel, relancez _execute (par exemple chaque nuit).

3. Enrichir à la requête #

ES|QL

ENRICH et LOOKUP JOIN #

FROM logs-nginx.access-*
| ENRICH serveurs ON host.name WITH equipe
| STATS erreurs = COUNT(*) BY equipe

Selon la version : LOOKUP JOIN (jointure avec un index en mode lookup) est disponible à partir des versions récentes (8.18 / 9.x) ; ENRICH s'appuie sur les mêmes enrich policies que l'ingestion.