Machine learning : détection d'anomalies et AIOps

1. Les fonctions de machine learning #

Vue d'ensemble.

Ce qu'Elastic propose #

À savoir : La détection d'anomalies et data frame analytics demandent une licence Platinum ou Enterprise (ou l'essai de 30 jours) et des nœuds avec le rôle ml.

Licence et essai #

GET _license                                   # type et date d'expiration
POST _license/start_trial?acknowledge=true     # essai de 30 jours, une seule fois par version majeure

Erreur courante : Construire une supervision de production sur l'essai : à l'expiration, le cluster repasse en licence Basic et les jobs de détection d'anomalies s'arrêtent. Prévoyez l'abonnement, ou utilisez des règles d'alerte à seuil (gratuites) pour les besoins critiques.

Selon la version : la répartition exacte des fonctions entre licences évolue (AIOps, modèles entraînés) : consultez la page Subscriptions d'Elastic pour votre version.

2. Créer un job #

Détecteurs et datafeed.

Les notions #

PUT _ml/anomaly_detectors/latence-services
{
  "analysis_config": {
    "bucket_span": "15m",
    "detectors": [ { "function": "high_mean", "field_name": "transaction.duration.us", "partition_field_name": "service.name" } ],
    "influencers": ["service.name", "host.name"]
  },
  "data_description": { "time_field": "@timestamp" }
}
PUT _ml/datafeeds/datafeed-latence-services
{ "job_id": "latence-services", "indices": ["traces-apm*"] }
POST _ml/anomaly_detectors/latence-services/_open
POST _ml/datafeeds/datafeed-latence-services/_start

3. Lire et exploiter les résultats #

Score, explorateur, alertes.

Dans Kibana #

• Anomaly Explorer : vue par influenceur et par période, couleurs selon le score (0 à 100).
• Single Metric Viewer : la courbe réelle, la bande du comportement attendu, les anomalies et les prévisions (_forecast).
• Règle d'alerte Anomaly detection : notifier au-delà d'un score (par exemple 75) via un connecteur.

GET _ml/anomaly_detectors/latence-services/results/records?sort=record_score&desc=true&size=5
POST _ml/anomaly_detectors/latence-services/_forecast
{ "duration": "1d" }

Bonne pratique : Laissez le modèle apprendre sur plusieurs cycles (au moins deux semaines pour un rythme hebdomadaire) avant d'alerter, et commencez par un seuil élevé.

Erreur courante : Partitionner sur un champ à très forte cardinalité (identifiant de session, URL complète) : la mémoire du modèle explose et les résultats deviennent illisibles. Partitionnez par service ou par hôte, et gardez le reste en influenceur.

4. Jobs prêts à l'emploi #

Observability et Security.

Les assistants #

Les applications Observability (APM, logs, infrastructure) et Security proposent des jobs préconfigurés : latence APM anormale, taux de logs inhabituel, processus rares sur un hôte. Elastic Security les utilise aussi comme règles de détection de type machine learning.