1. Grafana Alerting #
Un Alertmanager intégré, multi-sources.
Les concepts #
Grafana embarque un moteur d'alerte qui évalue des règles sur n'importe quelle source (Prometheus, Loki, Elasticsearch, SQL...) et un Alertmanager intégré. Les concepts sont ceux d'Alertmanager, sous d'autres noms :
| Grafana | Équivalent Alertmanager |
|---|---|
| Alert rule | Règle d'alerte Prometheus (évaluée par Grafana) |
| Contact point | Receiver |
| Notification policy | Route |
| Mute timing / Active timing | time_intervals |
| Silence | Silence |
Bonne Pratique : Grafana peut aussi gérer un Alertmanager externe (Prometheus Alertmanager ou Mimir) : choisissez un seul endroit où vivent vos routes, pour éviter les doublons.
Provisionner en YAML #
# provisioning/alerting/contact-points.yaml
apiVersion: 1
contactPoints:
- orgId: 1
name: equipe-web
receivers:
- uid: web-email
type: email
settings:
addresses: web@example.org
policies:
- orgId: 1
receiver: equipe-web
group_by: [grafana_folder, alertname]
routes:
- receiver: equipe-web
object_matchers: [["severity", "=", "critical"]]
repeat_interval: 1hLes règles s'exportent depuis l'interface (Export, formats YAML, JSON ou HCL Terraform) : c'est le moyen le plus simple d'obtenir un fichier de provisioning juste.
2. Organiser l'astreinte #
Les alertes arrivent à des humains.
Les fonctions d'un outil d'astreinte #
| Fonction | Pourquoi |
|---|---|
| Plannings et rotations | Savoir qui est d'astreinte à 3 h du matin |
| Escalade | Si personne n'accuse réception en 10 min, appeler le suivant |
| Accusé de réception | Arrêter les rappels, informer l'équipe |
| Canaux multiples | Appel, SMS, push mobile, chat |
| Incidents et post-mortem | Chronologie, rôles, actions correctives |
Outils courants : Grafana IRM (OnCall et Incident, dans Grafana Cloud), PagerDuty, Jira Service Management (successeur d'Opsgenie), Splunk On-Call. Tous s'intègrent à Alertmanager par une intégration native ou un webhook.
À savoir : Le projet open source Grafana OnCall a été placé en maintenance puis archivé : pour une installation autonome, préférez une intégration Alertmanager vers un service d'astreinte, ou Grafana Cloud IRM.
Une astreinte saine #
- Seules les alertes
criticalréveillent ; tout le reste attend les heures ouvrées. - Chaque alerte qui réveille a un runbook.
- Revue hebdomadaire des alertes : supprimer ou corriger celles qui n'ont demandé aucune action.
- Rotations d'une semaine, avec passation écrite.
- Post-mortem sans recherche de coupable après chaque incident majeur.
