RousselTMLEARNING

Observabilité

Index Lifecycle Management (ILM) : data tiers, rollover et rétention

Automatiser le cycle de vie des index avec ILM : data tiers hot, warm, cold et frozen, rollover par taille et âge, shrink, force merge, searchable snapshots, suppression et diagnostic avec explain.

1. Les phases #

Des données qui vieillissent.

Cycle #

Phases d'une politique ILM
PhaseActions typiquesNœuds
hotrollover, priorité hautedata_hot (SSD)
warmshrink, forcemerge, read-onlydata_warm
coldmoins de répliques, searchable snapshot (selon licence)data_cold
frozensearchable snapshot partieldata_frozen + dépôt objet
deletesuppression, éventuellement après snapshot-

2. Une politique #

En pratique.

Politique et diagnostic #

PUT _ilm/policy/logs-30d
{
  "policy": {
    "phases": {
      "hot":    { "actions": { "rollover": { "max_primary_shard_size": "50gb", "max_age": "1d" } } },
      "warm":   { "min_age": "7d",  "actions": { "shrink": { "number_of_shards": 1 }, "forcemerge": { "max_num_segments": 1 } } },
      "delete": { "min_age": "30d", "actions": { "delete": {} } }
    }
  }
}

GET logs-nginx-default/_ilm/explain        # phase et étape de chaque index, erreurs éventuelles
À savoir : min_age se compte à partir du rollover de l'index, pas de sa création : un index « 7 jours » en warm a été écrit pendant 1 jour puis vieilli 7 jours.
Erreur Courante : Sans rollover, l'âge d'un index énorme ne bouge pas : ILM ne fait rien de pertinent. Le rollover (via un data stream ou un alias d'écriture) est la base de tout le reste.
À savoir : Certaines fonctionnalités dépendent de la version et du niveau de licence (Basic, Platinum, Enterprise) : vérifiez-les dans la documentation et la page des abonnements Elastic avant de les utiliser en production.

Articles liés

Transforms et enrich : résumer et enrichir les données dans Elasticsearch

Créer des index centrés sur les entités avec les transforms pivot et latest, et enrichir les documents à l'in…

OpenTelemetry et Elasticsearch : compatibilité et architecture

Envoyer de l'OpenTelemetry vers Elasticsearch : Collector et exportateur elasticsearch, endpoint OTLP géré, A…

Ingérer des logs OpenTelemetry dans Elasticsearch

Collecter et structurer des logs avec le Collector OpenTelemetry (receiver filelog, opérateurs, processeur tr…

Pour aller plus loin

Soutenir

♥ SOUTENIR

Soutenez RousselTM Learning

Les formations, articles, TP et attestations restent gratuits et sans publicité intrusive. Une contribution libre, du montant de votre choix, finance l’hébergement, les environnements de TP et l’écriture de nouveaux contenus.

Contribuer avec PayPal Montant libre · carte bancaire ou compte PayPalEn savoir plus
QR code PayPal
Ou scannez ce QR code avec votre téléphone

Merci, chaque contribution compte !