Práctica: escribir, probar y medir recording rules con corrección

De las consultas costosas a las series registradas #

Contexto. Tu panel recalcula los mismos agregados en cada actualización. Vas a registrarlos en series dedicadas, con las métricas del propio Prometheus y sin ninguna otra dependencia.

Requisitos: Docker Compose, curl y jq  ·  Duración estimada: 40 min

Crea una carpeta de trabajo para esta práctica.

1. 1. Iniciar Prometheus

   ¿Por qué? Prometheus se recopila a sí mismo: dispones de inmediato de métricas HTTP reales.

   Escribe docker-compose.yml y prometheus.yml. Activa la recarga en caliente y referencia un archivo rules.yml.
   Ver la corrección

   services:
     prometheus:
       image: prom/prometheus:latest
       command:
         - --config.file=/etc/prometheus/prometheus.yml
         - --web.enable-lifecycle
       ports:
         - "9090:9090"
       volumes:
         - ./prometheus.yml:/etc/prometheus/prometheus.yml:ro
         - ./rules.yml:/etc/prometheus/rules.yml:ro
         - ./tests.yml:/etc/prometheus/tests.yml:ro

   global:
     scrape_interval: 5s
     evaluation_interval: 15s
   
   rule_files:
     - /etc/prometheus/rules.yml
   
   scrape_configs:
     - job_name: prometheus
       static_configs:
         - targets: ["localhost:9090"]

2. 2. Registrar un primer agregado

   ¿Por qué? Agregar por etapas evita volver a leer las series en bruto en cada nivel.

   Crea rules.yml con la tasa por job y handler y después la tasa por job, reutilizando la regla anterior. Crea también un tests.yml vacío (touch tests.yml), comprueba, inicia y consulta la nueva serie al cabo de un minuto.
   Ver la corrección

   groups:
     - name: http_prometheus
       rules:
         - record: job_handler:prometheus_http_requests:rate5m
           expr: sum by (job, handler) (rate(prometheus_http_requests_total[5m]))
   
         - record: job:prometheus_http_requests:rate5m
           expr: sum by (job) (job_handler:prometheus_http_requests:rate5m)

   docker compose up -d
   docker compose exec prometheus promtool check rules /etc/prometheus/rules.yml
   curl -X POST http://localhost:9090/-/reload
   curl -s --get --data-urlencode 'query=job:prometheus_http_requests:rate5m' http://localhost:9090/api/v1/query

3. 3. Añadir un ratio de errores robusto y un percentil

   ¿Por qué? Sin precaución, el ratio queda vacío mientras no exista ningún error.

   Añade la tasa de errores 5xx, el ratio de errores (que debe valer 0 sin errores) y el percentil 95 de la duración. Recarga y comprueba el estado de las reglas.
   Ver la corrección

   groups:
     - name: http_prometheus
       rules:
         - record: job_handler:prometheus_http_requests:rate5m
           expr: sum by (job, handler) (rate(prometheus_http_requests_total[5m]))
   
         - record: job:prometheus_http_requests:rate5m
           expr: sum by (job) (job_handler:prometheus_http_requests:rate5m)
   
         - record: job:prometheus_http_requests_errors:rate5m
           expr: sum by (job) (rate(prometheus_http_requests_total{code=~"5.."}[5m]))
   
         - record: job:prometheus_http_requests_errors:ratio_rate5m
           expr: |
             (job:prometheus_http_requests_errors:rate5m or job:prometheus_http_requests:rate5m * 0)
               / job:prometheus_http_requests:rate5m
   
         - record: job:prometheus_http_request_duration_seconds:p95_rate5m
           expr: |
             histogram_quantile(0.95,
               sum by (job, le) (rate(prometheus_http_request_duration_seconds_bucket[5m])))

   curl -s http://localhost:9090/api/v1/rules | jq '.data.groups[].rules[] | {name, health, evaluationTime}'

4. 4. Escribir las pruebas unitarias

   ¿Por qué? Una regla errónea da un panel creíble pero falso: solo una prueba lo revela.

   En tests.yml, cubre dos casos: 10 % de errores (ratio 0,1) y ningún error (ratio 0). Lanza las pruebas, quita la parte or ... * 0 del ratio, observa cómo falla la segunda prueba y vuelve a ponerla.
   Ver la corrección

   rule_files:
     - rules.yml
   evaluation_interval: 1m
   
   tests:
     - name: 10 % de errores
       interval: 1m
       input_series:
         - series: 'prometheus_http_requests_total{job="api",handler="/a",code="200"}'
           values: '0+54x10'
         - series: 'prometheus_http_requests_total{job="api",handler="/a",code="500"}'
           values: '0+6x10'
       promql_expr_test:
         - expr: job:prometheus_http_requests:rate5m
           eval_time: 10m
           exp_samples:
             - labels: 'job:prometheus_http_requests:rate5m{job="api"}'
               value: 1
         - expr: job:prometheus_http_requests_errors:ratio_rate5m
           eval_time: 10m
           exp_samples:
             - labels: 'job:prometheus_http_requests_errors:ratio_rate5m{job="api"}'
               value: 0.1
   
     - name: sin errores, el ratio vale 0 y no está vacío
       interval: 1m
       input_series:
         - series: 'prometheus_http_requests_total{job="api",handler="/a",code="200"}'
           values: '0+60x10'
       promql_expr_test:
         - expr: job:prometheus_http_requests_errors:ratio_rate5m
           eval_time: 10m
           exp_samples:
             - labels: 'job:prometheus_http_requests_errors:ratio_rate5m{job="api"}'
               value: 0

   docker compose exec prometheus promtool test rules /etc/prometheus/tests.yml

5. 5. Medir la ganancia

   ¿Por qué? Una optimización se mide.

   Compara las muestras leídas por la consulta original y por la serie registrada, y localiza el tiempo de evaluación de tus reglas con prometheus_rule_group_last_duration_seconds. Debes ver una sola muestra para la serie registrada y varios centenares para la consulta original (el valor depende de tu instancia).
   Ver la corrección

   for q in 'sum by (job) (rate(prometheus_http_requests_total[5m]))' 'job:prometheus_http_requests:rate5m'; do
     curl -s --get --data-urlencode "query=$q" --data-urlencode 'stats=all' \
       http://localhost:9090/api/v1/query | jq .data.stats.samples.totalQueryableSamples
   done

Nivel de dificultad : ●●●○○ (3/5)