RousselTMLEARNING

Observabilité

Fluent Bit : les outputs (sorties), routage et fiabilité de l'envoi

Envoyer les données de Fluent Bit : routage par Match et Match_Regex, sorties Loki, Elasticsearch/OpenSearch, OpenTelemetry, S3, Kafka, HTTP et forward, réessais, workers, compression, TLS et limites du tampon disque.

1. Routage #

Quelles données vont où.

Match et tags #

Pipeline Fluent Bit
Un output ne reçoit que les chunks dont le tag correspond à son Match.
Routage vers plusieurs outputs
Une même donnée peut partir vers Loki pour l'analyse et vers S3 pour l'archive.
  • match: kube.* : joker sur le tag.
  • match_regex: ^kube\.(api|web)$ : expression régulière.
  • match: * : tout (pratique pour une archive).
Erreur Courante : Un enregistrement qu'aucun output ne correspond est simplement abandonné : vérifiez vos tags avec une sortie stdout temporaire.

2. Les principaux outputs #

Vers les backends courants.

Exemples #

pipeline:
  outputs:
    - name: loki
      match: kube.*
      host: loki.monitoring.svc
      port: 3100
      labels: job=fluent-bit, namespace=$kubernetes['namespace_name'], app=$kubernetes['labels']['app']
      line_format: json
    - name: es                        # Elasticsearch ou OpenSearch (name: opensearch)
      match: app.*
      host: elasticsearch
      port: 9200
      logstash_format: on
      logstash_prefix: app
      suppress_type_name: on
      tls: on
      http_user: fluentbit
      http_passwd: ${ES_PASSWORD}
    - name: opentelemetry
      match: otel.*
      host: otel-collector
      port: 4318
      logs_uri: /v1/logs
    - name: s3
      match: '*'
      bucket: archives-logs
      region: eu-west-3
      total_file_size: 100M
      upload_timeout: 10m
      compression: gzip

Autres sorties #

OutputUsage
kafkaFile d'attente durable avant traitement
forwardVers un agrégateur Fluent Bit ou Fluentd
httpToute API HTTP (JSON, NDJSON)
prometheus_exporter, prometheus_remote_writeMétriques
stdoutDébogage

3. Fiabilité de l'envoi #

Ne pas perdre, ne pas saturer.

Réglages #

    - name: loki
      match: kube.*
      host: loki
      retry_limit: no_limits           # ou un nombre ; False = pas de réessai
      workers: 2                        # envois en parallèle
      storage.total_limit_size: 5G      # plafond du tampon disque de cet output
      compress: gzip
      tls: on
      tls.verify: on
  • Les réessais suivent un délai exponentiel ; un chunk abandonné après retry_limit est perdu.
  • storage.total_limit_size évite qu'une destination en panne remplisse le disque du nœud : les plus anciens chunks sont alors supprimés.
  • Surveillez fluentbit_output_retries_failed_total et fluentbit_output_dropped_records_total sur le port 2020.
curl -s localhost:2020/api/v2/metrics/prometheus | grep -E 'output_(errors|retries|dropped)'

Articles liés

Fluent Bit : les inputs (entrées) du pipeline en détail

Tout sur les inputs de Fluent Bit : rôle des tags, lecture de fichiers avec tail (positions, rotation, multil…

Fluent Bit : parsers et filters, structurer et transformer les logs

Structurer et transformer les logs dans Fluent Bit : parsers (json, regex, logfmt, ltsv), parsers multilignes…

Collecteurs de logs légers : Fluent Bit, Vector et les autres

Pourquoi un collecteur de logs, ce qui distingue les agents légers (Fluent Bit, Vector) des collecteurs histo…

Pour aller plus loin

Soutenir

♥ SOUTENIR

Soutenez RousselTM Learning

Les formations, articles, TP et attestations restent gratuits et sans publicité intrusive. Une contribution libre, du montant de votre choix, finance l’hébergement, les environnements de TP et l’écriture de nouveaux contenus.

Contribuer avec PayPal Montant libre · carte bancaire ou compte PayPalEn savoir plus
QR code PayPal
Ou scannez ce QR code avec votre téléphone

Merci, chaque contribution compte !