Fluent Bit en Kubernetes

1. Installer avec Helm #

Un DaemonSet prêt à l'emploi.

Commandes #

helm repo add fluent https://fluent.github.io/helm-charts
helm upgrade --install fluent-bit fluent/fluent-bit -n logging --create-namespace -f values.yaml

# values.yaml (extrait) : le chart accepte la configuration au format classique
config:
  inputs: |
    [INPUT]
        Name              tail
        Path              /var/log/containers/*.log
        multiline.parser  docker, cri
        Tag               kube.*
        Mem_Buf_Limit     50MB
        Skip_Long_Lines   On
        storage.type      filesystem
  filters: |
    [FILTER]
        Name                kubernetes
        Match               kube.*
        Merge_Log           On
        Keep_Log            Off
        K8S-Logging.Parser  On
        K8S-Logging.Exclude On
  outputs: |
    [OUTPUT]
        Name        loki
        Match       kube.*
        Host        loki-gateway.logging.svc
        Port        80
        Labels      job=fluent-bit
        Label_keys  $kubernetes['namespace_name'],$kubernetes['container_name']

Bonne Pratique : Merge_Log On analyse les logs JSON des applications et place leurs champs au premier niveau ; les annotations fluentbit.io/parser et fluentbit.io/exclude permettent aux équipes de choisir un parser ou d'exclure leurs pods.

2. Logs multilignes #

Les piles d'appels Java et Python.

multiline #

Une exception Java s'étale sur 50 lignes : sans traitement, chaque ligne devient un enregistrement. Les parsers multilignes intégrés (docker, cri, java, python, go) ou personnalisés les regroupent :

[MULTILINE_PARSER]
    name          java_exceptions
    type          regex
    flush_timeout 1000
    rule  "start_state"  "/^\d{4}-\d{2}-\d{2} .*/"   "cont"
    rule  "cont"         "/^\s+at .*|^Caused by: .*/"   "cont"

[FILTER]
    name                  multiline
    match                 kube.*
    multiline.key_content log
    multiline.parser      java, java_exceptions

3. Tampon et contre-pression #

Ne rien perdre, ne pas saturer.

Réglages #

Erreur Courante : Avec un tampon uniquement en mémoire, une panne de Loki de quelques minutes peut entraîner la perte de logs ou la suspension de la lecture. Activez le tampon disque sur les nœuds de production.

Superviser Fluent Bit #

curl -s localhost:2020/api/v1/health
curl -s localhost:2020/api/v2/metrics/prometheus | grep -E 'fluentbit_(input_records|output_(proc_records|errors|retries_failed))_total'

- alert: FluentBitOutputErrors
  expr: sum by (name) (rate(fluentbit_output_retries_failed_total[5m])) > 0
  for: 10m
  labels: { severity: warning }