RousselTMLEARNING

Observabilité

Grafana Loki vs Elasticsearch : La bataille du stockage de logs

Comparatif entre Loki, le système de logs inspiré par Prometheus, et Elasticsearch, le moteur de recherche plein texte de référence.

1. Philosophie d'indexation #

Indexation totale vs indexation par labels.

Elasticsearch : L'indexation exhaustive #

Elasticsearch indexe chaque mot de chaque ligne de log. Cela permet des recherches quasi instantanées sur n'importe quel terme, mais au prix d'une consommation CPU et RAM très élevée, et d'un volume de stockage important pour les index.

Loki : Le choix de la légèreté #

Inspiré par Prometheus, Loki n'indexe que les métadonnées (labels). Le contenu du log lui-même est compressé et stocké de manière brute. Les recherches sont un peu plus lentes car Loki doit 'grep' les données à la volée, mais le coût de stockage est divisé par 10.

2. Coût et Scalabilité #

TCO (Total Cost of Ownership).

Comparatif financier #

Pour des infrastructures cloud générant plusieurs To de logs par jour, Loki est nettement plus économique. Il peut utiliser du stockage objet bon marché (S3, GCS) sans sacrifier la stabilité.

3. Conclusion #

Faut-il migrer ?

Recommandation #

Utilisez Elasticsearch si vous avez besoin de faire de l'analyse de sécurité complexe ou du business intelligence sur vos logs. Utilisez Loki pour l'observabilité technique au quotidien : il est parfaitement intégré à Grafana et coûte beaucoup moins cher à opérer.

Pour aller plus loin