1. Philosophie d'indexation
Indexation totale vs indexation par labels.
Elasticsearch : L'indexation exhaustive
Elasticsearch indexe chaque mot de chaque ligne de log. Cela permet des recherches quasi instantanées sur n'importe quel terme, mais au prix d'une consommation CPU et RAM très élevée, et d'un volume de stockage important pour les index.
Loki : Le choix de la légèreté
Inspiré par Prometheus, Loki n'indexe que les métadonnées (labels). Le contenu du log lui-même est compressé et stocké de manière brute. Les recherches sont un peu plus lentes car Loki doit 'grep' les données à la volée, mais le coût de stockage est divisé par 10.
2. Coût et Scalabilité
TCO (Total Cost of Ownership).
Comparatif financier
Pour des infrastructures cloud générant plusieurs To de logs par jour, Loki est nettement plus économique. Il peut utiliser du stockage objet bon marché (S3, GCS) sans sacrifier la stabilité.
3. Conclusion
Faut-il migrer ?
Recommandation
Utilisez Elasticsearch si vous avez besoin de faire de l'analyse de sécurité complexe ou du business intelligence sur vos logs. Utilisez Loki pour l'observabilité technique au quotidien : il est parfaitement intégré à Grafana et coûte beaucoup moins cher à opérer.