1. Grafana Alerting #
Un Alertmanager intégré, multi-sources.
Les concepts #
Disponible dans : ✓ OSS ✓ Enterprise ✓ Cloud Grafana Alerting partout ; astreintes et incidents (Grafana IRM) dans Grafana Cloud
Grafana embarque un moteur d'alerte qui évalue des règles sur n'importe quelle source (Prometheus, Loki, Elasticsearch, SQL...) et un Alertmanager intégré. Les concepts sont ceux d'Alertmanager, sous d'autres noms :
| Grafana | Équivalent Alertmanager |
|---|---|
| Alert rule | Règle d'alerte Prometheus (évaluée par Grafana) |
| Contact point | Receiver |
| Notification policy | Route |
| Mute timing / Active timing | time_intervals |
| Silence | Silence |
Bonne Pratique : Grafana peut aussi gérer un Alertmanager externe (Prometheus Alertmanager ou Mimir) : choisissez un seul endroit où vivent vos routes, pour éviter les doublons.
Provisionner en YAML #
# provisioning/alerting/contact-points.yaml
apiVersion: 1
contactPoints:
- orgId: 1
name: equipe-web
receivers:
- uid: web-email
type: email
settings:
addresses: web@example.org
policies:
- orgId: 1
receiver: equipe-web
group_by: [grafana_folder, alertname]
routes:
- receiver: equipe-web
object_matchers: [["severity", "=", "critical"]]
repeat_interval: 1hLes règles s'exportent depuis l'interface (Export, formats YAML, JSON ou HCL Terraform) : c'est le moyen le plus simple d'obtenir un fichier de provisioning juste.
2. Organiser l'astreinte #
Les alertes arrivent à des humains.
Les fonctions d'un outil d'astreinte #
| Fonction | Pourquoi |
|---|---|
| Plannings et rotations | Savoir qui est d'astreinte à 3 h du matin |
| Escalade | Si personne n'accuse réception en 10 min, appeler le suivant |
| Accusé de réception | Arrêter les rappels, informer l'équipe |
| Canaux multiples | Appel, SMS, push mobile, chat |
| Incidents et post-mortem | Chronologie, rôles, actions correctives |
Outils courants : Grafana IRM (OnCall et Incident, dans Grafana Cloud), PagerDuty, Jira Service Management (successeur d'Opsgenie), Splunk On-Call. Tous s'intègrent à Alertmanager par une intégration native ou un webhook.
À savoir : Le projet open source Grafana OnCall a été placé en maintenance puis archivé : pour une installation autonome, préférez une intégration Alertmanager vers un service d'astreinte, ou Grafana Cloud IRM.
Une astreinte saine #
- Seules les alertes
criticalréveillent ; tout le reste attend les heures ouvrées. - Chaque alerte qui réveille a un runbook.
- Revue hebdomadaire des alertes : supprimer ou corriger celles qui n'ont demandé aucune action.
- Rotations d'une semaine, avec passation écrite.
- Post-mortem sans recherche de coupable après chaque incident majeur.
