Comprendre les recording rules

1. Pourquoi des recording rules ? #

Calculer à l'avance plutôt qu'à chaque lecture.

Le problème #

Une requête PromQL est calculée au moment où on la lance. Sur un tableau de bord de vingt panneaux, actualisé toutes les trente secondes et ouvert par dix personnes, Prometheus refait sans cesse les mêmes calculs sur les mêmes échantillons. Le tableau de bord devient lent, et chaque utilisateur supplémentaire aggrave la situation.

Une recording rule (règle d'enregistrement) résout ce problème : Prometheus évalue l'expression à intervalle régulier et écrit le résultat dans une nouvelle série. Les lectures deviennent de simples accès à cette série.

Mesure réelle : sur un Prometheus 3.15 de test, avec stats=all, sum by (job) (rate(prometheus_http_requests_total[5m])) lit 448 échantillons, et la série enregistrée équivalente un seul. L'écart est bien plus grand sur un serveur de production.

Quand en utiliser, et quand s'en passer #

Une règle n'est pas gratuite : chaque série enregistrée consomme du stockage et de la mémoire, comme une série collectée. Le gain vient de l'agrégation : remplacer des milliers de séries par quelques dizaines.

2. Comment Prometheus les évalue #

Groupes, intervalle, ordre et absence d'effet rétroactif.

Le fonctionnement #

• Les règles sont rangées dans des groupes, déclarés dans des fichiers référencés par rule_files.
• Dans un groupe, elles s'exécutent dans l'ordre, au même horodatage. Une règle peut donc utiliser le résultat de celle qui la précède.
• L'intervalle est celui du groupe (interval), sinon le evaluation_interval global.
• Le résultat garde les étiquettes de l'expression ; le nom de la métrique est remplacé par record.
• Une règle ne calcule que le présent : une nouvelle règle n'a pas d'historique, sauf recalcul manuel (voir plus loin).

Attention à l'intervalle : une série qui n'a pas de point depuis plus de cinq minutes (le délai de recherche par défaut) n'apparaît plus dans les requêtes instantanées. Un groupe évalué toutes les dix minutes produit donc des trous.