Continuous profiling

1. Le quatrième signal #

Ce que métriques, logs et traces ne disent pas.

Du « quoi » au « quelle ligne de code » #

Les métriques disent qu'un service consomme 4 CPU, les traces disent quel appel est lent, les logs racontent ce qui s'est passé. Aucun ne dit quelle fonction consomme ce CPU ou alloue cette mémoire. C'est le rôle du profiling.

Le profiling continu échantillonne en permanence, en production, la pile d'appels des processus (par exemple 100 fois par seconde) avec un surcoût faible (souvent 1 à 3 % de CPU). On peut ainsi revenir sur un pic d'hier, comparer deux versions ou repérer la fonction qui coûte le plus cher à l'échelle d'un parc.

À savoir : Pyroscope est né en 2020 comme projet indépendant, racheté par Grafana Labs en 2023 et fusionné avec Grafana Phlare. Il est open source (AGPLv3). OpenTelemetry standardise aussi les profils comme signal à part entière (protocole OTLP profiles, encore en développement).

2. Les types de profils #

CPU, mémoire, verrous, goroutines.

Les principaux types #

Dans Pyroscope, un type de profil est identifié par une chaîne comme process_cpu:cpu:nanoseconds:cpu:nanoseconds (nom:type d'échantillon:unité:type de période:unité).

3. Lire un flame graph #

La visualisation de référence.

Principe #

• Chaque rectangle est une fonction ; ses enfants (en dessous dans Grafana) sont les fonctions qu'elle appelle.
• La largeur est la part des échantillons où cette fonction était dans la pile : plus c'est large, plus elle coûte.
• L'ordre horizontal n'a pas de sens temporel (tri alphabétique ou par taille).
• Le self time est la partie d'une fonction qui n'est couverte par aucun enfant : c'est le code de la fonction elle-même.

Bonne Pratique : Cherchez les « plateaux » : un rectangle large tout en bas d'une pile est une fonction qui travaille réellement. Le tableau « Top table » de Grafana trie les fonctions par self time : c'est souvent le point de départ le plus rapide.

4. Pyroscope dans la stack #

Collecte, stockage, exploration.

Trois façons d'envoyer des profils #