Práctica: recopilación y envío de logs a Loki con corrección

Lo que vas a aprender en este TP

• Leer archivos de logs
• Extraer y añadir etiquetas
• Enviar a Loki y comprobar

Introducción #

Lo que vas a aprender en esta sección

• Leer archivos de logs
• Extraer y añadir etiquetas
• Enviar a Loki y comprobar

Contexto. Una aplicación escribe sus logs JSON en archivos y nadie los consulta hasta el incidente. Los centralizas en Loki.

Requisitos: Docker Compose, curl  ·  Duración estimada: 30 min

Logs consultables por nivel y entorno.

Pipeline de logs #

Pasos guiados, con su corrección.

1. 1. Preparar la pila

   ¿Por qué? El volumen conserva las posiciones de lectura: sin él, Alloy lo releería todo en cada reinicio.

   Escribe un Compose con Loki y Alloy.
   Ver la corrección

   services:
     loki:
       image: grafana/loki:latest
       command: -config.file=/etc/loki/local-config.yaml
       ports:
         - "3100:3100"
   
     alloy:
       image: grafana/alloy:v1.21.3
       command: run --server.http.listen-addr=0.0.0.0:12345 --storage.path=/var/lib/alloy/data /etc/alloy/config.alloy
       ports:
         - "12345:12345"
       volumes:
         - ./config.alloy:/etc/alloy/config.alloy:ro
         - ./logs:/var/log/myapp:ro
         - alloy-data:/var/lib/alloy/data
       depends_on: [loki]
   
   volumes:
     alloy-data:

2. 2. Leer los archivos

   ¿Por qué? local.file_match encuentra los archivos, loki.source.file los lee y memoriza su posición.

   En config.alloy, lee /var/log/myapp/*.log con la etiqueta job=myapp.
   Ver la corrección

   local.file_match "app" {
     path_targets = [{ "__path__" = "/var/log/myapp/*.log", "job" = "myapp" }]
   }
   
   loki.source.file "app_logs" {
     targets    = local.file_match.app.targets
     forward_to = [loki.process.app.receiver]
   }

3. 3. Procesar las líneas

   ¿Por qué? stage.labels toma un valor extraído; un valor fijo requiere stage.static_labels.

   Extrae level del JSON para convertirlo en etiqueta, añade env=production y conserva msg como texto.
   Ver la corrección

   loki.process "app" {
     forward_to = [loki.write.local_loki.receiver]
   
     stage.json {
       expressions = { level = "", msg = "" }
     }
   
     stage.labels {
       values = { level = "" }
     }
   
     stage.static_labels {
       values = { env = "production" }
     }
   
     stage.output {
       source = "msg"
     }
   }

4. 4. Enviar a Loki

   ¿Por qué? En la red de Compose, a Loki se llega por su nombre de servicio.

   Añade el componente de envío.
   Ver la corrección

   loki.write "local_loki" {
     endpoint {
       url = "http://loki:3100/loki/api/v1/push"
     }
   }

5. 5. Comprobar

   ¿Por qué? Un componente healthy no demuestra que lleguen los datos.

   Crea un archivo de logs, inicia la pila y consulta Loki: debes ver las etiquetas env y level, y los textos paiement refusé y commande créée.
   Ver la corrección

   mkdir -p logs
   cat >> logs/app.log <<'EOF'
   {"level":"error","msg":"paiement refusé"}
   {"level":"info","msg":"commande créée"}
   EOF
   docker compose up -d
   sleep 20
   curl -s http://localhost:3100/loki/api/v1/labels
   curl -s -G http://localhost:3100/loki/api/v1/query_range \
     --data-urlencode 'query={job="myapp",env="production"}' \
     --data-urlencode "start=$(( $(date +%s)-600 ))000000000"

Nivel de dificultad : ●●○○○ (2/5)