RousselTMLEARNING

Observabilité

Grafana Loki vs Elasticsearch : La bataille du stockage de logs

Comparatif entre Loki, le système de logs inspiré par Prometheus, et Elasticsearch, le moteur de recherche plein texte de référence.

1. Philosophie d'indexation #

Indexation totale vs indexation par labels.

Elasticsearch : L'indexation exhaustive #

Disponible dans : ✓ OSS ✓ Enterprise ✓ Cloud Loki open source, Enterprise Logs et Grafana Cloud Logs

Elasticsearch indexe chaque mot de chaque ligne de log. Cela permet des recherches quasi instantanées sur n'importe quel terme, mais au prix d'une consommation CPU et RAM très élevée, et d'un volume de stockage important pour les index.

Loki : Le choix de la légèreté #

Inspiré par Prometheus, Loki n'indexe que les métadonnées (labels). Le contenu des logs est compressé en blocs (chunks) stockés tels quels, de préférence dans un stockage objet. Les recherches dans le texte sont plus lentes, car Loki lit et filtre les blocs à la volée, mais l'index est minuscule et le stockage bien moins cher : selon les volumes et la rétention, l'écart de coût avec Elasticsearch atteint souvent un facteur 3 à 10.

2. Coût et Scalabilité #

TCO (Total Cost of Ownership).

Comparatif financier #

Pour des infrastructures cloud générant plusieurs To de logs par jour, Loki est nettement plus économique. Il peut utiliser du stockage objet bon marché (S3, GCS) sans sacrifier la stabilité.

3. Requêtes, cardinalité et rétention #

Ce qui change pour les équipes.

Deux modèles d'indexation #

Indexation comparée
CritèreLokiElasticsearch
Indexlabels uniquement (+ métadonnées structurées et filtres de Bloom en 3.x)index inversé sur les champs et le texte
LangageLogQLKQL, Lucene, ES|QL, Query DSL
Recherche plein textefiltre sur les lignes après sélection des fluxinstantanée, avec score de pertinence
Stockageobjet (S3, GCS, Azure Blob)disques des nœuds, niveaux hot/warm/cold/frozen
Rétentioncompactor (retention_period)ILM (Index Lifecycle Management)
Points fortscoût, simplicité, intégration Grafanarecherche, analyse, SIEM, apprentissage automatique

Le piège de la cardinalité #

Avec Loki, chaque combinaison unique de labels crée un flux (stream). Mettre un identifiant de requête, un identifiant d'utilisateur ou une adresse IP en label crée des millions de flux et effondre les performances. Les labels doivent rester peu nombreux et stables (environnement, application, namespace, niveau) ; le reste se filtre dans la requête.

# Bon : peu de labels, filtre dans la requête
{app="checkout", env="prod"} |= "timeout" | json | user_id="42"

# Mauvais : user_id comme label = un flux par utilisateur
{app="checkout", env="prod", user_id="42"}
Erreur courante : Appliquer les habitudes d'Elasticsearch à Loki en indexant tous les champs comme labels. Utilisez plutôt les métadonnées structurées pour les champs à forte cardinalité.

4. Conclusion #

Faut-il migrer ?

Recommandation #

Utilisez Elasticsearch si vous avez besoin de faire de l'analyse de sécurité complexe ou du business intelligence sur vos logs. Utilisez Loki pour l'observabilité technique au quotidien : il est parfaitement intégré à Grafana et coûte beaucoup moins cher à opérer.

5. Commandes à connaître et TP #

Interroger les deux moteurs en ligne de commande.

Commandes à connaître #

ActionCommande
Requête Lokilogcli query '{app="checkout"} |= "error"' --since=1h --limit=50
Lister les labels Lokilogcli labels app
Mesurer la cardinalitélogcli series '{env="prod"}' --analyze-labels
Recherche Elasticsearchcurl -s "localhost:9200/logs-*/_search?q=message:error&size=5"
Taille des indexcurl -s "localhost:9200/_cat/indices?v&s=store.size:desc"
Politiques ILMcurl -s "localhost:9200/_ilm/policy?pretty"

TP : mesurer le coût de stockage #

  1. Envoyez le même fichier de logs (au moins 1 Go) dans Loki avec Grafana Alloy et dans Elasticsearch avec Filebeat ou Elastic Agent.
  2. Comparez l'espace occupé : taille du bucket ou du répertoire de chunks côté Loki, _cat/indices côté Elasticsearch.
  3. Chronométrez une recherche d'un mot rare sur 24 heures dans chaque outil.
  4. Ajoutez volontairement un label à forte cardinalité côté Loki et observez logcli series --analyze-labels.

Résultat attendu : des chiffres concrets sur le rapport coût et vitesse de recherche pour vos propres logs.

Articles liés

Transforms et enrich : résumer et enrichir les données dans Elasticsearch

Créer des index centrés sur les entités avec les transforms pivot et latest, et enrichir les documents à l'in…

OpenTelemetry et Elasticsearch : compatibilité et architecture

Envoyer de l'OpenTelemetry vers Elasticsearch : Collector et exportateur elasticsearch, endpoint OTLP géré, A…

Ingérer des logs OpenTelemetry dans Elasticsearch

Collecter et structurer des logs avec le Collector OpenTelemetry (receiver filelog, opérateurs, processeur tr…

Pour aller plus loin

Soutenir

♥ SOUTENIR

Soutenez RousselTM Learning

Les formations, articles, TP et attestations restent gratuits et sans publicité intrusive. Une contribution libre, du montant de votre choix, finance l’hébergement, les environnements de TP et l’écriture de nouveaux contenus.

Contribuer avec PayPal Montant libre · carte bancaire ou compte PayPalEn savoir plus
QR code PayPal
Ou scannez ce QR code avec votre téléphone

Merci, chaque contribution compte !