1. Les fonctions de machine learning #
Vue d'ensemble.
Ce qu'Elastic propose #
| Fonction | Question | Exemple |
|---|---|---|
| Détection d'anomalies | qu'est-ce qui sort de l'ordinaire ? | chute du nombre de requêtes, latence inhabituelle |
| Analyse du taux de logs | pourquoi ce pic de logs ? | les champs qui expliquent le pic |
| Analyse des motifs de logs | quels types de messages ? | regroupe des millions de lignes en motifs |
| Détection de point de rupture | quand le comportement a-t-il changé ? | changement de niveau après un déploiement |
| Data frame analytics | classer, prédire, isoler | détection de valeurs aberrantes, régression, classification |
| Modèles entraînés | comprendre le texte | ELSER pour la recherche sémantique, NER |
À savoir : La détection d'anomalies et data frame analytics demandent une licence Platinum ou Enterprise (ou l'essai de 30 jours) et des nœuds avec le rôle ml.Licence et essai #
| Licence | Ce qui est disponible |
|---|---|
| Basic (gratuite) | Data Visualizer, import de fichiers, consultation des résultats existants |
| Essai (30 jours) | toutes les fonctions de machine learning, comme Platinum / Enterprise |
| Platinum / Enterprise | détection d'anomalies, data frame analytics, modèles entraînés (NLP, ELSER), AIOps |
GET _license # type et date d'expiration
POST _license/start_trial?acknowledge=true # essai de 30 jours, une seule fois par version majeureErreur courante : Construire une supervision de production sur l'essai : à l'expiration, le cluster repasse en licence Basic et les jobs de détection d'anomalies s'arrêtent. Prévoyez l'abonnement, ou utilisez des règles d'alerte à seuil (gratuites) pour les besoins critiques.
Selon la version : la répartition exacte des fonctions entre licences évolue (AIOps, modèles entraînés) : consultez la page Subscriptions d'Elastic pour votre version.
2. Créer un job #
Détecteurs et datafeed.
Les notions #
| Notion | Rôle |
|---|---|
| Détecteur | fonction + champ : count, mean(latence), rare(process.name)… |
| bucket_span | granularité de l'analyse (15 min par défaut) |
| partition_field / by_field | un modèle par valeur (par service, par hôte) |
| Influenceurs | champs qui expliquent l'anomalie (IP, URL, hôte) |
| Datafeed | requête qui alimente le job, en continu ou sur l'historique |
PUT _ml/anomaly_detectors/latence-services
{
"analysis_config": {
"bucket_span": "15m",
"detectors": [ { "function": "high_mean", "field_name": "transaction.duration.us", "partition_field_name": "service.name" } ],
"influencers": ["service.name", "host.name"]
},
"data_description": { "time_field": "@timestamp" }
}
PUT _ml/datafeeds/datafeed-latence-services
{ "job_id": "latence-services", "indices": ["traces-apm*"] }
POST _ml/anomaly_detectors/latence-services/_open
POST _ml/datafeeds/datafeed-latence-services/_start3. Lire et exploiter les résultats #
Score, explorateur, alertes.
Dans Kibana #
- Anomaly Explorer : vue par influenceur et par période, couleurs selon le score (0 à 100).
- Single Metric Viewer : la courbe réelle, la bande du comportement attendu, les anomalies et les prévisions (
_forecast). - Règle d'alerte Anomaly detection : notifier au-delà d'un score (par exemple 75) via un connecteur.
GET _ml/anomaly_detectors/latence-services/results/records?sort=record_score&desc=true&size=5
POST _ml/anomaly_detectors/latence-services/_forecast
{ "duration": "1d" }Bonne pratique : Laissez le modèle apprendre sur plusieurs cycles (au moins deux semaines pour un rythme hebdomadaire) avant d'alerter, et commencez par un seuil élevé.
Erreur courante : Partitionner sur un champ à très forte cardinalité (identifiant de session, URL complète) : la mémoire du modèle explose et les résultats deviennent illisibles. Partitionnez par service ou par hôte, et gardez le reste en influenceur.
4. Jobs prêts à l'emploi #
Observability et Security.
Les assistants #
Les applications Observability (APM, logs, infrastructure) et Security proposent des jobs préconfigurés : latence APM anormale, taux de logs inhabituel, processus rares sur un hôte. Elastic Security les utilise aussi comme règles de détection de type machine learning.
