Machine learning: detección de anomalías y AIOps

1. Las funciones de machine learning #

Visión general.

Lo que ofrece Elastic #

Para saber: La detección de anomalías y data frame analytics requieren una licencia Platinum o Enterprise (o la prueba de 30 días) y nodos con el rol ml.

Licencia y prueba #

GET _license                                   # type et date d'expiration
POST _license/start_trial?acknowledge=true     # essai de 30 jours, une seule fois par version majeure

Error común: Construir una supervisión de producción sobre la prueba: al caducar, el clúster vuelve a la licencia Basic y los jobs de detección de anomalías se detienen. Prevé la suscripción o usa reglas de alerta de umbral (gratuitas) para las necesidades críticas.

Según la versión: el reparto exacto de funciones entre licencias evoluciona (AIOps, modelos entrenados): consulta la página Subscriptions de Elastic para tu versión.

2. Crear un job #

Detectores y datafeed.

Los conceptos #

PUT _ml/anomaly_detectors/latence-services
{
  "analysis_config": {
    "bucket_span": "15m",
    "detectors": [ { "function": "high_mean", "field_name": "transaction.duration.us", "partition_field_name": "service.name" } ],
    "influencers": ["service.name", "host.name"]
  },
  "data_description": { "time_field": "@timestamp" }
}
PUT _ml/datafeeds/datafeed-latence-services
{ "job_id": "latence-services", "indices": ["traces-apm*"] }
POST _ml/anomaly_detectors/latence-services/_open
POST _ml/datafeeds/datafeed-latence-services/_start

3. Leer y aprovechar los resultados #

Puntuación, explorador, alertas.

En Kibana #

• Anomaly Explorer: vista por influencer y por periodo, colores según la puntuación (de 0 a 100).
• Single Metric Viewer: la curva real, la banda del comportamiento esperado, las anomalías y las previsiones (_forecast).
• Regla de alerta Anomaly detection: notificar a partir de una puntuación (por ejemplo 75) mediante un conector.

GET _ml/anomaly_detectors/latence-services/results/records?sort=record_score&desc=true&size=5
POST _ml/anomaly_detectors/latence-services/_forecast
{ "duration": "1d" }

Buena práctica: Deja que el modelo aprenda durante varios ciclos (al menos dos semanas para un ritmo semanal) antes de alertar, y empieza con un umbral alto.

Error común: Particionar por un campo de cardinalidad muy alta (identificador de sesión, URL completa): la memoria del modelo se dispara y los resultados se vuelven ilegibles. Particiona por servicio o por host y deja el resto como influencer.

4. Jobs listos para usar #

Observability y Security.

Los asistentes #

Las aplicaciones de Observability (APM, logs, infraestructura) y Security ofrecen jobs preconfigurados: latencia APM anómala, tasa de logs inusual, procesos raros en un host. Elastic Security también los usa como reglas de detección de tipo machine learning.