RousselTMLEARNING

Observabilité

Vector : les sinks en détail (destinations, lots, tampons et réessais)

Envoyer les événements de Vector : sinks Loki, Elasticsearch, S3, Kafka, OpenTelemetry, Prometheus, Datadog, HTTP et vector ; encodage, lots (batch), compression, tampons mémoire et disque, réessais, contrôle de santé et acquittements.

1. Rôle des sinks #

La sortie de la topologie.

Principe #

Topologie Vector
Un sink peut lire plusieurs inputs ; plusieurs sinks peuvent lire le même input.
DestinationSink
Logsloki, elasticsearch, splunk_hec_logs, datadog_logs, clickhouse
Métriquesprometheus_exporter, prometheus_remote_write, datadog_metrics
Archives et filesaws_s3, gcp_cloud_storage, azure_blob, kafka
Génériquehttp, opentelemetry, vector (vers un agrégateur), console

2. Exemples #

Les sinks les plus courants.

Configuration #

sinks:
  loki:
    type: loki
    inputs: [aiguiller._unmatched, echantillon]
    endpoint: http://loki:3100
    encoding: { codec: json }
    labels:                            # peu de labels, bornés
      namespace: "{{ kubernetes.pod_namespace }}"
      app: "{{ kubernetes.pod_labels.app }}"
  elastic:
    type: elasticsearch
    inputs: [aiguiller.erreurs]
    endpoints: [https://es:9200]
    mode: data_stream
    auth: { strategy: basic, user: vector, password: "${ES_PASSWORD}" }
  archive:
    type: aws_s3
    inputs: [nettoyer]
    bucket: archives-logs
    region: eu-west-3
    key_prefix: "date=%F/"
    compression: gzip
    encoding: { codec: json }
    batch: { max_bytes: 100000000, timeout_secs: 300 }
  metriques:
    type: prometheus_exporter
    inputs: [compteur_erreurs, vector_interne]
    address: 0.0.0.0:9598

3. Fiabilité #

Lots, tampons, réessais, santé.

Réglages #

Fonctionnement d'un sink
Un tampon disque survit aux redémarrages ; when_full: block propage la contre-pression vers les sources.
  loki:
    type: loki
    inputs: [nettoyer]
    endpoint: http://loki:3100
    healthcheck: { enabled: true }     # vérifié au démarrage
    batch: { max_bytes: 1048576, timeout_secs: 1 }
    request:
      retry_attempts: 10
      retry_initial_backoff_secs: 1
      retry_max_duration_secs: 300
      concurrency: adaptive            # ajuste le parallélisme selon la latence observée
    buffer:
      type: disk
      max_size: 2147483648             # 2 Go
      when_full: block
    acknowledgements: { enabled: true }
  • concurrency: adaptive (ARC) réduit automatiquement le parallélisme quand la destination ralentit.
  • Surveillez vector_component_sent_events_total, vector_buffer_events et vector_component_errors_total par sink.
  • vector top affiche le débit de chaque composant en direct.
Bonne Pratique : Pour des volumes importants, placez Vector en agrégateur derrière des agents légers (Vector ou Fluent Bit) : l'agrégateur porte les tampons disque et les transformations coûteuses.

Articles liés

Vector : les sources en détail

Les sources de Vector : fichiers, logs Kubernetes, journald, syslog, sockets, HTTP, OpenTelemetry, Kafka, sou…

Vector : les transforms en détail (remap et VRL, route, filter, réduction et métriques)

Transformer les événements dans Vector : remap et le langage VRL (analyse, enrichissement, gestion des erreur…

Vector : sources, transforms, sinks et topologie

Les concepts de Vector (sources, transforms, sinks), la configuration YAML, les composants courants, les tamp…

Pour aller plus loin

Soutenir

♥ SOUTENIR

Soutenez RousselTM Learning

Les formations, articles, TP et attestations restent gratuits et sans publicité intrusive. Une contribution libre, du montant de votre choix, finance l’hébergement, les environnements de TP et l’écriture de nouveaux contenus.

Contribuer avec PayPal Montant libre · carte bancaire ou compte PayPalEn savoir plus
QR code PayPal
Ou scannez ce QR code avec votre téléphone

Merci, chaque contribution compte !