Bonnes pratiques de collecte de logs avec Fluent Bit et Vector

1. À la source #

Moins de bruit, plus de structure.

Principes #

• Logs applicatifs en JSON : moins d'analyse fragile par regex.
• Filtrer tôt (health checks, debug) : chaque ligne coûte en réseau, stockage et requêtes.
• Masquer les données personnelles et secrets dans le collecteur.
• Gérer le multiligne (exceptions) avant tout autre traitement.

2. Fiabilité #

Ne rien perdre sans tout saturer.

Réglages #

• Tampon disque sur les agents de production, avec une taille maximale.
• Positions de lecture persistantes (db pour Fluent Bit, data_dir pour Vector).
• Limites mémoire et requêtes de ressources dans le DaemonSet.
• Alertes sur les erreurs d'envoi et les tampons pleins.

3. Destinations et coûts #

Labels et volumes.

Règles #

• Pour Loki : peu de labels, à faible cardinalité (namespace, application, niveau) ; le reste dans le contenu.
• Pour Elasticsearch : un schéma de champs cohérent (ECS par exemple).
• Archiver à bas coût (S3) ce qui doit être conservé longtemps sans être interrogé.
• Configuration versionnée, validée et testée en CI.

Schéma de référence et vérification rapide #

Check-list.

Check-list #

1. Agent en DaemonSet avec limites
2. Multiligne géré
3. Masquage des données sensibles
4. Tampon disque activé
5. Métriques de l'agent dans Prometheus
6. Tests de configuration en CI