Incidents et automatisation avec Datadog : On-Call, Incident Management et Workflow Automation

1. De l'alerte à l'incident #

Un parcours outillé.

Cycle #

Étape	Outil	Bonne pratique
Détecter	Monitors (métrique, logs, APM, composite, anomalies)	Alerter sur le symptôme (SLO, erreurs utilisateur), pas sur chaque cause
Appeler	On-Call (plannings, escalades) ou outil tiers (PagerDuty, Opsgenie)	Une politique d'escalade par équipe, via le Software Catalog
Coordonner	Incident Management (rôles, sévérité, chronologie)	Un commandant d'incident, une communication régulière
Agir	Workflow Automation, runbooks liés	Automatiser les premières actions sûres
Apprendre	Post-mortem généré depuis l'incident	Actions de suivi assignées et suivies

2. Workflow Automation #

Automatiser sans code.

Exemples #

À la création d'un incident SEV-1 : créer un canal Slack, inviter l'équipe propriétaire, ouvrir un ticket Jira.
Sur un monitor « disque presque plein » : lancer un nettoyage via une action ou un webhook, puis vérifier la métrique.
Sur un signal de sécurité : isoler un utilisateur dans l'IdP après validation humaine.

Erreur Courante : Une remédiation automatique sans garde-fou peut aggraver un incident (redémarrages en boucle). Prévoyez une étape d'approbation humaine pour les actions destructrices et une limite de fréquence.

1. De l'alerte à l'incident #

Cycle #

2. Workflow Automation #

Exemples #

Articles liés

Architecture de la plateforme Datadog : sites, organisations, clés et modèle de données

Datadog sur Kubernetes : Operator, Cluster Agent et Autodiscovery

Dashboards et notebooks Datadog : widgets, template variables et bonnes pratiques

Recevez les nouveaux articles et formations

Pour aller plus loin