Este artículo está disponible en francés.
1. Le rôle d'un collecteur #
Lire, transformer, router.
Les fonctions #
Un collecteur de logs lit les journaux (fichiers, journald, sorties des conteneurs, syslog), les transforme (analyse, enrichissement, filtrage, masquage) et les route vers une ou plusieurs destinations (Loki, Elasticsearch, S3, Kafka...), avec un tampon pour ne rien perdre en cas de panne.
Sur Kubernetes, il tourne en DaemonSet : une instance par nœud. Sa consommation de ressources est donc multipliée par le nombre de nœuds, d'où l'intérêt des agents légers.
2. Le panorama #
Qui fait quoi.
Comparatif #
| Outil | Langage | Licence | Points forts |
|---|---|---|---|
| Fluent Bit | C | Apache 2.0 (CNCF) | Très léger, plugins nombreux, standard de fait sur Kubernetes |
| Vector | Rust | MPL 2.0 (Datadog) | Langage de transformation VRL, tests unitaires, performances |
| Fluentd | Ruby + C | Apache 2.0 (CNCF) | Écosystème de plugins historique, agrégateur |
| Logstash | JVM | Elastic | Transformations riches pour la stack Elastic (voir la formation Logstash) |
| Beats | Go | Elastic | Agents spécialisés pour Elastic (voir la formation Beats) |
| Alloy | Go | Apache 2.0 | Agent unifié Grafana : logs, métriques, traces, profils |
| OpenTelemetry Collector | Go | Apache 2.0 (CNCF) | Standard OTLP, tous signaux |
3. Agent et agrégateur #
Deux rôles, parfois deux outils.
Architectures #
| Architecture | Principe | Quand |
|---|---|---|
| Agent direct | Chaque nœud envoie directement aux destinations | Petites et moyennes installations |
| Agent + agrégateur | Agents légers sur les nœuds, agrégateur central qui transforme, tamponne et route | Grand volume, destinations multiples, transformations lourdes |
Bonne Pratique : Combinaison classique : Fluent Bit en agent (léger) et Vector ou Fluentd en agrégateur (transformations, routage, tampon disque), ou Fluent Bit partout.
Mi seguimiento
Inicia sesión para seguir tu progreso y tomar notas. Iniciar sesión
💬 Preguntas sobre esta lección
Todavía no hay preguntas: sé el primero en pedir ayuda o compartir tu configuración.
Artículos recomendados
Fluent Bit ou Vector ? Choisir, combiner et migrer
Comparer Fluent Bit et Vector (performances, transformations, écosystème, gouvernance), les combi...
Bonnes pratiques de collecte de logs avec Fluent Bit et Vector
Check-list de production pour la collecte de logs : structure, filtrage à la source, masquage, ta...
Fluent Bit : parsers et filters, structurer et transformer les logs
Structurer et transformer les logs dans Fluent Bit : parsers (json, regex, logfmt, ltsv), parsers...
Fluent Bit : les inputs (entrées) du pipeline en détail
Tout sur les inputs de Fluent Bit : rôle des tags, lecture de fichiers avec tail (positions, rota...
Fluent Bit : les outputs (sorties), routage et fiabilité de l'envoi
Envoyer les données de Fluent Bit : routage par Match et Match_Regex, sorties Loki, Elasticsearch...
Vector : les sources en détail
Les sources de Vector : fichiers, logs Kubernetes, journald, syslog, sockets, HTTP, OpenTelemetry...
Grafana Alloy : Collecte et Transformation de Télémétrie
Apprenez à utiliser Grafana Alloy pour collecter, transformer et acheminer logs, métriques et tra...
Collecter des logs vers Loki : Alloy, Promtail, Docker et OpenTelemetry
Envoyer des logs vers Loki : Grafana Alloy, Promtail, driver Docker, OTLP, bons labels, parsing e...
Transformer avec VRL et tester ses pipelines Vector
Le langage VRL (Vector Remap Language) : analyse de logs (JSON, regex, syslog), gestion des erreu...