This article is available in French.
1. À la source #
Moins de bruit, plus de structure.
Principes #
- Logs applicatifs en JSON : moins d'analyse fragile par regex.
- Filtrer tôt (health checks, debug) : chaque ligne coûte en réseau, stockage et requêtes.
- Masquer les données personnelles et secrets dans le collecteur.
- Gérer le multiligne (exceptions) avant tout autre traitement.
2. Fiabilité #
Ne rien perdre sans tout saturer.
Réglages #
- Tampon disque sur les agents de production, avec une taille maximale.
- Positions de lecture persistantes (
dbpour Fluent Bit,data_dirpour Vector). - Limites mémoire et requêtes de ressources dans le DaemonSet.
- Alertes sur les erreurs d'envoi et les tampons pleins.
3. Destinations et coûts #
Labels et volumes.
Règles #
- Pour Loki : peu de labels, à faible cardinalité (namespace, application, niveau) ; le reste dans le contenu.
- Pour Elasticsearch : un schéma de champs cohérent (ECS par exemple).
- Archiver à bas coût (S3) ce qui doit être conservé longtemps sans être interrogé.
- Configuration versionnée, validée et testée en CI.
Schéma de référence et vérification rapide #
Check-list.
Check-list #
- Agent en DaemonSet avec limites
- Multiligne géré
- Masquage des données sensibles
- Tampon disque activé
- Métriques de l'agent dans Prometheus
- Tests de configuration en CI
My progress
Sign in to track your progress and take notes. Sign in
Recommended Articles
Collecteurs de logs légers : Fluent Bit, Vector et les autres
Pourquoi un collecteur de logs, ce qui distingue les agents légers (Fluent Bit, Vector) des colle...
Fluent Bit sur Kubernetes : DaemonSet, multiline, tampon et supervision
Déployer Fluent Bit sur Kubernetes avec Helm, enrichir avec le filtre kubernetes, gérer les logs ...
Fluent Bit : les outputs (sorties), routage et fiabilité de l'envoi
Envoyer les données de Fluent Bit : routage par Match et Match_Regex, sorties Loki, Elasticsearch...
Fluent Bit : parsers et filters, structurer et transformer les logs
Structurer et transformer les logs dans Fluent Bit : parsers (json, regex, logfmt, ltsv), parsers...
Fluent Bit ou Vector ? Choisir, combiner et migrer
Comparer Fluent Bit et Vector (performances, transformations, écosystème, gouvernance), les combi...
Fluent Bit : les inputs (entrées) du pipeline en détail
Tout sur les inputs de Fluent Bit : rôle des tags, lecture de fichiers avec tail (positions, rota...
Fluent Bit : pipeline, configuration et plugins essentiels
Les concepts de Fluent Bit (inputs, parsers, filters, tags et match, buffer, outputs), la configu...
Transformer avec VRL et tester ses pipelines Vector
Le langage VRL (Vector Remap Language) : analyse de logs (JSON, regex, syslog), gestion des erreu...
Collecter des logs vers Loki : Alloy, Promtail, Docker et OpenTelemetry
Envoyer des logs vers Loki : Grafana Alloy, Promtail, driver Docker, OTLP, bons labels, parsing e...