1. Philosophie d'indexation #
Indexation totale vs indexation par labels.
Elasticsearch : L'indexation exhaustive #
Disponible dans : ✓ OSS ✓ Enterprise ✓ Cloud Loki open source, Enterprise Logs et Grafana Cloud Logs
Elasticsearch indexe chaque mot de chaque ligne de log. Cela permet des recherches quasi instantanées sur n'importe quel terme, mais au prix d'une consommation CPU et RAM très élevée, et d'un volume de stockage important pour les index.
Loki : Le choix de la légèreté #
Inspiré par Prometheus, Loki n'indexe que les métadonnées (labels). Le contenu des logs est compressé en blocs (chunks) stockés tels quels, de préférence dans un stockage objet. Les recherches dans le texte sont plus lentes, car Loki lit et filtre les blocs à la volée, mais l'index est minuscule et le stockage bien moins cher : selon les volumes et la rétention, l'écart de coût avec Elasticsearch atteint souvent un facteur 3 à 10.
2. Coût et Scalabilité #
TCO (Total Cost of Ownership).
Comparatif financier #
Pour des infrastructures cloud générant plusieurs To de logs par jour, Loki est nettement plus économique. Il peut utiliser du stockage objet bon marché (S3, GCS) sans sacrifier la stabilité.
3. Requêtes, cardinalité et rétention #
Ce qui change pour les équipes.
Deux modèles d'indexation #
| Critère | Loki | Elasticsearch |
|---|---|---|
| Index | labels uniquement (+ métadonnées structurées et filtres de Bloom en 3.x) | index inversé sur les champs et le texte |
| Langage | LogQL | KQL, Lucene, ES|QL, Query DSL |
| Recherche plein texte | filtre sur les lignes après sélection des flux | instantanée, avec score de pertinence |
| Stockage | objet (S3, GCS, Azure Blob) | disques des nœuds, niveaux hot/warm/cold/frozen |
| Rétention | compactor (retention_period) | ILM (Index Lifecycle Management) |
| Points forts | coût, simplicité, intégration Grafana | recherche, analyse, SIEM, apprentissage automatique |
Le piège de la cardinalité #
Avec Loki, chaque combinaison unique de labels crée un flux (stream). Mettre un identifiant de requête, un identifiant d'utilisateur ou une adresse IP en label crée des millions de flux et effondre les performances. Les labels doivent rester peu nombreux et stables (environnement, application, namespace, niveau) ; le reste se filtre dans la requête.
# Bon : peu de labels, filtre dans la requête
{app="checkout", env="prod"} |= "timeout" | json | user_id="42"
# Mauvais : user_id comme label = un flux par utilisateur
{app="checkout", env="prod", user_id="42"}Erreur courante : Appliquer les habitudes d'Elasticsearch à Loki en indexant tous les champs comme labels. Utilisez plutôt les métadonnées structurées pour les champs à forte cardinalité.
4. Conclusion #
Faut-il migrer ?
Recommandation #
Utilisez Elasticsearch si vous avez besoin de faire de l'analyse de sécurité complexe ou du business intelligence sur vos logs. Utilisez Loki pour l'observabilité technique au quotidien : il est parfaitement intégré à Grafana et coûte beaucoup moins cher à opérer.
5. Commandes à connaître et TP #
Interroger les deux moteurs en ligne de commande.
Commandes à connaître #
| Action | Commande |
|---|---|
| Requête Loki | logcli query '{app="checkout"} |= "error"' --since=1h --limit=50 |
| Lister les labels Loki | logcli labels app |
| Mesurer la cardinalité | logcli series '{env="prod"}' --analyze-labels |
| Recherche Elasticsearch | curl -s "localhost:9200/logs-*/_search?q=message:error&size=5" |
| Taille des index | curl -s "localhost:9200/_cat/indices?v&s=store.size:desc" |
| Politiques ILM | curl -s "localhost:9200/_ilm/policy?pretty" |
TP : mesurer le coût de stockage #
- Envoyez le même fichier de logs (au moins 1 Go) dans Loki avec Grafana Alloy et dans Elasticsearch avec Filebeat ou Elastic Agent.
- Comparez l'espace occupé : taille du bucket ou du répertoire de chunks côté Loki,
_cat/indicescôté Elasticsearch. - Chronométrez une recherche d'un mot rare sur 24 heures dans chaque outil.
- Ajoutez volontairement un label à forte cardinalité côté Loki et observez
logcli series --analyze-labels.
Résultat attendu : des chiffres concrets sur le rapport coût et vitesse de recherche pour vos propres logs.
