RousselTMLEARNING

Observabilité

Exploiter Grafana : métriques internes, santé, logs, performances et sauvegardes

Savoir exploiter Grafana : endpoint /metrics et /api/health, logs, requêtes lentes, performances des dashboards, cache, plugins, sauvegarde et restauration, diagnostic des sources de données.

1. Santé et métriques internes #

Savoir utiliser Grafana ne suffit pas : il faut l'exploiter.

Les points d'entrée #

Disponible dans : ✓ OSS ✓ Enterprise ✕ Cloud Grafana Cloud est exploité par Grafana Labs

Supervision de Grafana
curl -s https://grafana.exemple.fr/api/health
# {"database":"ok","version":"13.x","commit":"…"}   -> 200 si la base répond, 503 sinon
curl -s https://grafana.exemple.fr/metrics | grep -E '^grafana_(build_info|http_request_duration_seconds_count)' | head

Collecter avec Prometheus #

# prometheus.yml
scrape_configs:
  - job_name: grafana
    metrics_path: /metrics
    static_configs: [{ targets: ["grafana:3000"] }]
# grafana.ini : protéger /metrics par une authentification basique
[metrics]
enabled = true
basic_auth_username = prometheus
basic_auth_password = $__file{/run/secrets/metrics_password}

Requêtes utiles #

# Latence p95 des requêtes HTTP de Grafana, par route
histogram_quantile(0.95, sum by (le, handler) (rate(grafana_http_request_duration_seconds_bucket[5m])))
# Taux d'erreurs 5xx renvoyées par Grafana
sum(rate(grafana_http_request_duration_seconds_count{status_code=~"5.."}[5m]))
# Durée p95 des requêtes vers chaque source de données
histogram_quantile(0.95, sum by (le, datasource) (rate(grafana_datasource_request_duration_seconds_bucket[5m])))
Bonne Pratique : Alertez sur /api/health (sonde blackbox), sur le taux de 5xx et sur la latence des sources de données : ce sont les trois premières causes d'un Grafana « lent ».

2. Logs et requêtes lentes #

Lire ce que Grafana raconte.

Configurer les logs #

# grafana.ini : logs JSON, faciles à envoyer vers Loki
[log]
mode = console
level = info
[log.console]
format = json
# Retrouver les requêtes HTTP lentes (champ duration des lignes « Request Completed »)
docker logs grafana 2>&1 | grep 'Request Completed' | jq -r 'select(.duration | test("^[0-9.]+s$")) | "\(.duration) \(.path)"' | sort -rn | head

Lire un dashboard lent #

  • Ouvrez l'inspecteur de requêtes du panneau (Inspect › Query) : durée, nombre de séries et taille de la réponse.
  • Un panneau qui ramène des milliers de séries est trop large : agrégez dans la requête (sum by) plutôt qu'avec une transformation.
  • Réglez l'intervalle minimal et Max data points : inutile de demander un point par seconde sur sept jours.
  • Limitez les panneaux visibles à l'ouverture : les lignes repliées ne lancent leurs requêtes qu'une fois dépliées.

3. Performances et cache #

Moins de requêtes, moins de charge sur les sources.

Leviers #

  • Cache des requêtes (Enterprise, Cloud) : réutilise les résultats d'une même requête pendant une durée définie par source de données.
  • Rafraîchissement : évitez 5 s sur un écran mural de 40 panneaux ; fixez min_refresh_interval dans grafana.ini.
  • Délais : [dataproxy] timeout coupe les requêtes trop longues vers une source plutôt que de bloquer les utilisateurs.
  • Enregistrements : une recording rule Prometheus précalcule une requête lourde utilisée par de nombreux panneaux.

4. Plugins, sauvegardes et diagnostic #

Les tâches d'exploitation courantes.

Plugins et versions #

Fixez la version de chaque plugin (GF_PLUGINS_PREINSTALL=grafana-clock-panel@<version> ou grafana cli plugins install <id> <version>), testez-les en DEV avant toute montée de version de Grafana, et refusez les plugins non signés en production. Depuis Grafana 12, les plugins AngularJS ne se chargent plus.

Sauvegarder et restaurer #

# SQLite (instance unique) : copie cohérente à chaud
sqlite3 /var/lib/grafana/grafana.db ".backup '/backup/grafana-$(date +%F).db'"
# PostgreSQL (instances multiples)
pg_dump -Fc -h db.exemple.fr -U grafana grafana > /backup/grafana-$(date +%F).dump
# À sauvegarder aussi : grafana.ini, provisioning/, la clé secret_key, la liste des plugins et leurs versions
grafana cli plugins ls > /backup/plugins-$(date +%F).txt
Attention : Une restauration sans la même secret_key rend les mots de passe des sources de données illisibles. Testez la restauration sur une instance de secours au moins une fois par trimestre.

Diagnostiquer une source de données #

  1. « Save & test » dans la page de la source : le message d'erreur indique souvent la cause (DNS, certificat, authentification).
  2. Testez depuis le serveur ou le conteneur Grafana, pas depuis votre poste : curl -v https://prometheus:9090/-/ready.
  3. Cherchez dans les logs Grafana les lignes de la source concernée (identifiant ou type), avec le code HTTP renvoyé.
  4. Vérifiez le mode d'accès : avec Server (par défaut), c'est le serveur Grafana qui joint la source.

Commandes à connaître #

Commandes à connaître
  • curl /api/health : état de Grafana et de sa base
  • curl /metrics : métriques internes au format Prometheus
  • grafana cli plugins ls : plugins installés et versions
  • grafana cli plugins update-all : mettre à jour les plugins (après test)
  • sqlite3 grafana.db ".backup …" : sauvegarder une base SQLite à chaud
  • pg_dump -Fc grafana : sauvegarder la base PostgreSQL

Articles liés

Administration et sécurité de Grafana : organisations, équipes, RBAC, comptes de service et authentification

Administrer Grafana en entreprise : organisations, équipes, dossiers, rôles et RBAC, permissions des sources …

Dashboard engineering : visualisations d'état, annotations, panneaux de bibliothèque et navigation

Concevoir des dashboards professionnels : State timeline, Status history, Node graph, annotations, panneaux d…

Automatiser Grafana : API HTTP, Terraform et cycle de vie des dashboards

Industrialiser Grafana : API HTTP (dossiers, dashboards, utilisateurs, sources), fournisseur Terraform, dashb…

Pour aller plus loin

Soutenir

♥ SOUTENIR

Soutenez RousselTM Learning

Les formations, articles, TP et attestations restent gratuits et sans publicité intrusive. Une contribution libre, du montant de votre choix, finance l’hébergement, les environnements de TP et l’écriture de nouveaux contenus.

Contribuer avec PayPal Montant libre · carte bancaire ou compte PayPalEn savoir plus
QR code PayPal
Ou scannez ce QR code avec votre téléphone

Merci, chaque contribution compte !