[TP] Projet 4 : Exploitation d'Elasticsearch


Pour ce TP, nous allons voir comment utiliser et manipuler les sources de données populaires (cas Elasticsearch) et comprendre la notion de timeseries.

Ce que vous allez apprendre dans ce TP :
  • Prendre en main l'interface Grafana
  • Création de tableaux de bord
  • Affecter des tags à un tableau de bord
  • Identifier et reconnaître la source de donnée
  • Construction et utilisation d'une requête Lucene
  • Utilisation d'une visualisation de type Geomap
  • Personnalisation de la visualisation
  • Définir la plage horaire par défaut
  • Définir le titre et la description d'un panel
  • Faire des graphiques à bornes
  • Mettre en place un tableau avec feu tricolore
  • Utiliser le value mapping
  • Utiliser les regex
  • Faire des graphiques à secteurs
  • Construire unb panel à partir d'un autre
  • Prendre en main la visualisation de type Logs
  • Faire des requêtes sur des intervalles avec Lucene
  • Faire des séries temporelles
  • Utiliser le mode Metrics de la datasource Elasticsearch
  • Faire des regroupements selon un critère
  • exclure un champ par négation avec lucene
  • Mettre en place une alerte

Introduction


Ce que vous allez apprendre dans cette section :
  • Prendre en main l'interface Grafana
  • Création de tableaux de bord
  • Affecter des tags à un tableau de bord

Pour réaliser ce projet, vous devez installer votre propre instance Grafana (un TP disponible pour cela). Mais si vous faites une formation en présentiel, vous pouvez vous rapprocher de votre formateur pour avoir les identifiants pour vous connecter à l'instance https://demo.rousseltm.fr

ALERTE: N'hésitez pas à nous poser des questions car, il y a des notions d'autres produits que vous devez connaître (ou maîtriser) pour configurer facilement vos tableaux de bord Grafana:

  • Query type : Nous vous conseillons de suivre cette vidéo qui explique les différents types de requêtes que vous pouvez faire Dans Grafana avec Elasticsearch. Voici le résumé nécessaire pour faire ce TP:
    • Metrics: Utilisé pour construire des graphiques temporels (time series). Repose sur les agrégations Elasticsearch (date_histogram, terms, avg, count, etc.).
    • Logs (valeur par défaut): Mode orienté observabilité/logs. Affiche les événements (documents) de manière chronologique. Grafana formate les champs (@timestamp, message, log.level, etc.) pour ressembler à un explorateur de logs (comme Kibana Discover).
    • Raw data: Retourne les documents Elasticsearch tels qu’ils sont stockés (JSON brut). Moins « user-friendly » que le mode Logs, mais plus fidèle aux données.
    • Raw Document (Déprécié): Ancienne version de Raw data. Utilisait _source directement et n’offrait pas toutes les optimisations récentes de Grafana.

  • Lucene query : Nous vous conseillons de suivre cette vidéo qui explique la différence entre les langages d'Elasticsearch. Vous aurez besoin de comprendre le langage lucene pour faire ce TP et l'essentiel est expliqué Dans la vidéo
.
  1. Prise en main
    Vous devez créer un dossier et y mettre votre tableau de bord. Si c'est une formation de groupe, le formateur va vous assigner un dossier dédié.
  2. Création du tableau de bord
    Dans le dossier que vous venez de créer, vous devez créer un tableau de bord que vous allez nommer 'projet 4' et lui affecter le tag 'projet 4'. Vous devez ensuite identifier la bonne source de données qui correspond à Elasticsearch.
  3. Création d'une variable
    Vous devez créer une variable nommée 'host' qui va afficher la liste des domaines(champ 'host') présents Dans la source de donnée de type 'Elasticsearch'. Vous devez permettre de sélectionner plusieurs options Dans la variable.
    ATTENTION: Pour chacun des panels ci-dessous, ils doivent varier en fonction du choix de la variable

Panel : carte


Ce que vous allez apprendre dans cette section :
  • Identifier et reconnaître la source de donnée
  • Construction et utilisation d'une requête Lucene
  • Utilisation d'une visualisation de type Geomap
  • Personnalisation de la visualisation
  • Définir la plage horaire par défaut
  • Définir le titre et la description d'un panel

Prendre en main la représentation sous forme de carte
  1. Source de données
    Vous devez identifier et choisir la source de donnée de type Elasticsearch.
    INFORMATION : En entreprise, vous devez définir une norme de nommage Dans Grafana. L'erreur que certains font est de mettre le type de la source Dans le nom pourtant il est facilement identifiable Dans la console Grafana
  2. La requête
    Vous devez construire une requête Lucene pour afficher uniquement les documents qui ont un statut http à '503' et dont le champ 'machine.os' commence par 'win'. Pour rappel, vous avez créé une variable donc toutes les requêtes doivent l'inclure !
  3. Type de visualisation
    Vous devez choisir une visualisation qui correspond à une représentation sous forme de carte et utilise les champs suivants pour les coordonnées :
    • Latitude : geo.coordinates.lat
    • Longitude : geo.coordinates.lon
  4. Titre et description
    Vous devez définir, pour la visualisation, comme titre 'Répartition géographique des visiteurs' et comme description 'Représentation géographique des utilisateurs'
  5. Le détails des points
    Vous devez configurer le tableau pour qu'il affiche uniquement ces champs quand on se positionne sur un point :
    • host
    • clientip
    • @timestamp
    • geo.dest
    • geo.src
    • message
    Et tout champ qui est nécessaire au fonctionnement de la carte. Les champs doievent s'afficher Dans l'odre exacte des éléments.
  6. Plage horaire par défaut
    Vous devez configurer le tableau de bord pour qu'il affiche par défaut les données sur 30 jours.

Panel : Graphiques à bornes


Ce que vous allez apprendre dans cette section :
  • Faire des graphiques à bornes
  • Mettre en place un tableau avec feu tricolore
  • Utiliser le value mapping
  • Utiliser les regex

Vous devez créer un panel qui affiche un graphique à bornes représentant la répartition des codes retours. Vous devez mettre en place un feu tricolore sur ce modèle
  • Vert avec le message 'OK' : code 2xx
  • Jaune avec le message 'Redirection' : code 3xx
  • Orange avec le message 'Erreur client' : code 4xx
  • Rouge avec le message 'Erreur serveur' : code 5xx
  1. Regroupement des données
    Vous devez mettre en place, grâce aux transformations, le regroupement des données par code retour et compter le nombre de fois que ce dernier apparaît Dans le temps.
  2. Conversion des données
    Un graphe à borne utilise des champs de type 'string'. Vous devez donc convertir les codes retour en chaîne de caractère.
  3. Mode de coloration
    Vous devez indiquer à Grafana qu'il doit se servir du code retour pour la couleur de la borne.
  4. Feu tricolore
    Vous devez mettre en place le feu tricolore comme demandé en ci-dessus.

Panel : Graphiques à secteurs


Ce que vous allez apprendre dans cette section :
  • Faire des graphiques à secteurs
  • Construire unb panel à partir d'un autre

Vous devez créer un panel qui affiche un graphique à bornes représentant la répartition des codes retours. Vous devez personnaliser les labels sur ce modèle
  • Message 'OK' : code 2xx
  • Message 'Redirection' : code 3xx
  • Message 'Erreur client' : code 4xx
  • Message 'Erreur serveur' : code 5xx
  1. Dupliquer un panel
    Vous devez dupliquer le panel que vous venez de créer (Panel : Graphiques à bornes). Et les redimensionner pour qu'ils s'affichent sur une même ligne. Celui à Bornes occupe environ 2/3 de la ligne et le clone 1/3.
  2. Changer visualisation
    Vous devez modifier la visualisation pour que les données soient désormais affichées sous forme de secteurs.
  3. Feu tricolore
    Est-il possible de faire du feu tricolore avec ce type de visualisation ?

Panel : Logs


Ce que vous allez apprendre dans cette section :
  • Prendre en main la visualisation de type Logs
  • Faire des requêtes sur des intervalles avec Lucene

Vous devez ajouter au tableau de bord un panel pour visualiser des Logs.
  1. Erreurs HTTP
    Vous devez ajouter un panel pour représenter des logs et qui affiche uniquement les logs d'erreurs HTTP.
    INFORMATION: une log d'erreur HTTP est une log qui a un code retour http de 4xx à 5xx

Panel : série temporelle


Ce que vous allez apprendre dans cette section :
  • Faire des séries temporelles
  • Utiliser le mode Metrics de la datasource Elasticsearch
  • Faire des regroupements selon un critère
  • exclure un champ par négation avec lucene

Créer une série temporelle avec des données issues d'Elasticsearch. Ce graphe doit donner l'évolution du nombre de documents par code retour HTTP
  1. Le type de requête
    Vous devez positionner le bon mode pour faire de la série temporelle. ET Dans la requête exclure tous les status HTTP à 2xx et 3xx
  2. Le regroupement
    Vous devez configurer Grafana pour qu'il regroupe les métriques par temps (Dans Elasticsearch le champ par défaut du temps est '@timestamp') et par code retour HTTP.
  3. La visualisation
    Vous devez sélectionner la visualisation qui permet d'afficher des series temporelles.

Alertes


Ce que vous allez apprendre dans cette section :
  • Mettre en place une alerte

Vous devez positionner une alerte sur des erreurs serveurs.
INFORMATION: une erreur serveur est une log qui a un code retour http 5xx
  1. Erreur serveur
    Vous devez mettre en place une alerte à chaque fois qu'on a une erreur serveur qui se produit. Les notifications doivent être envoyées sur le point de contect 'RousselTM'. Vous pouvez vérifier les notifications à l'adresse : Voir les notifications.

Niveau de difficulté: (3/5)

Glossaire de la formation

Observabilité

La capacité à connaître l'état interne d'un système à partir des données qu'il émet.Ces données sont classées en 3 piliers : logsmétriquestracesprofil...

Grafana

Plateforme open source de visualisation de données et d'analyse de métriques interactives.

Prometheus

Système open source de surveillance et d'alerte, particulièrement adapté pour la collecte de métriques dans des environnements dynamiques (comme Kuber...

APM (Application Performance Monitoring)

Surveillance des performances applicatives pour identifier, diagnostiquer et résoudre les problèmes complexes liés aux performances et à la disponibil...

k6

Outil open source de test de charge (load testing) conçu pour l'ingénierie de performance, permettant d'évaluer la fiabilité et la scalabilité des sys...

Traces distribuées

Technique (issue du pilier des Traces) permettant de suivre le cheminement complet d'une requête à travers de multiples micro-services pour identifier...

Métriques

Mesures numériques collectées à intervalles réguliers (ex: CPU, RAM, temps de réponse) utilisées pour évaluer l'état de santé global d'un système au f...

Alerting

Processus consistant à notifier les équipes (via email, Slack, Teams) lorsqu'un événement spécifique, un dépassement de seuil ou une anomalie est déte...

HTTP Code

Codes de statut HTTP standardisés indiquant le résultat du traitement d'une requête.1xx (Information) : 100 Continue, 101 Switching Protocols.2xx (Suc...

Access Log

Fichier de journalisation enregistrant les requêtes traitées par un serveur web (Apache, Nginx, Lighttpd, etc.). Il permet de tracer l'activité du ser...

Client IP

L'adresse IP de l'utilisateur effectuant la requête vers le serveur web. Lorsqu'un utilisateur passe par un Load Balancer ou un proxy (ex: Cloudflare)...

Timestamp

La date et l'heure exactes auxquelles la requête a été reçue par le serveur.Configuration : %t dans Apache, $time_local ou $time_iso8601 dans Nginx.

Request

La ligne de requête initiale du client. Elle comprend généralement la méthode HTTP (ex: GET), l'URL demandée et la version du protocole HTTP.Configura...

Status Code

Le code de statut HTTP final renvoyé par le serveur au client (ex : 200 pour un succès, 404 pour ressource non trouvée).Configuration : %>s dans Apach...

Size

Le volume des données renvoyées au client, mesuré en octets (généralement sans les en-têtes HTTP).Configuration : %b ou %O dans Apache, $body_bytes_se...

Referrer

L'URL de la page web depuis laquelle le client a cliqué ou suivi un lien pour accéder à la ressource actuelle.Configuration : %{Referer}i dans Apache,...

User-Agent

Les informations d'identification fournies par le client concernant son navigateur, son système d'exploitation et son appareil. Sa structure standard ...

Response Time

La durée totale prise par le serveur pour traiter la requête et renvoyer la réponse au client.Configuration : %D (microsecondes) ou %T (secondes) dans...

Articles recommandés

Comprendre la notion de score

Le concept de score va permettre à Elasticsearch de classer vos documents par...

Différences entre Technologies et Services dans Dynatrace

Dans Dynatrace, les concepts de 'Technologie' et de 'Services' aident à organ...

Dynatrace : Différences entre SQL Modifications, SQL Queries or Procedures, et SQL Transactions

Cet article détaille les différences entre trois concepts essentiels dans l'e...

Types de consommation de licence

Comprendre l'évolution de la facturation dans Dynatrace : la différence entre...

Les Types de Services Dynatrace : Comprendre et Optimiser Votre Surveillance Applicative

Découvrez les différents types de services que Dynatrace peut surveiller, leu...

Les SLO Dynatrace : Comprendre et Gérer les Objectifs de Niveau de Service

Découvrez comment utiliser les SLO (Service Level Objectives) dans Dynatrace ...

Apdex vs Core Web Vitals

Découvrez les différences entre Apdex et Core Web Vitals, deux indicateurs de...

Comprendre Elastic Common Schema(ECS)

Comme toujours dans nos missions de conseil, nous recommandons aux entreprise...

Pourquoi collecter des métriques

Découvrez les raisons clés pour collecter des métriques avec des exemples con...

Les types de métriques dans Prometheus

Découvrez en détail les quatre types de métriques supportés par Prometheus (C...

Grail : Dynatrace Data Lakehouse

Désormais vous disposez dans Dynatrace (SaaS) d'un Data Lakehouse nommé Grail...

Introduction à PromQL

Apprenez à maîtriser PromQL, le langage de requête utilisé dans Prometheus, a...

Dynatrace OneAgent : tags, props, vars CLI

Pense‑bête des commandes CLI/API pour gérer tags, propriétés, variables d'env...

Grafana Alloy : Collecte et Transformation de Télémétrie

Apprenez à utiliser Grafana Alloy pour collecter, transformer et acheminer lo...

Grafana Alloy : Collecter les métriques système et les logs locaux

Découvrez comment configurer Grafana Alloy pour superviser le serveur sur leq...

Grafana Alloy : L'importance de l'auto-supervision (Self-Monitoring)

Découvrez pourquoi et comment configurer Grafana Alloy pour qu'il se supervis...

Grafana Alloy : Comprendre et exploiter l'Interface Utilisateur (UI)

Découvrez comment activer, sécuriser et utiliser l'interface web intégrée de ...

OTLP expliqué : comprendre le protocole OpenTelemetry

Découvrez le protocole OTLP expliqué simplement. Comprendre les différences e...

Grafana Alloy : Guide complet pour collecter métriques, logs et traces

Tutoriel complet sur Grafana Alloy. Découvrez comment installer, configurer e...

Grafana Alloy : Syntaxe et Configuration (Alloy Language)

Maîtrisez la syntaxe déclarative de Grafana Alloy (langage River), apprenez à...

Grafana Alloy : Collecte de Métriques (Prometheus & Ecosystem)

Apprenez à configurer Grafana Alloy pour collecter, transformer et envoyer de...

C'est quoi l'observabilité

La capacité à connaître l'état interne d'un système à partir des données que ...

Grafana Alloy : Gestion des Logs avec Loki

Découvrez comment configurer Grafana Alloy pour lire des fichiers de logs, jo...

Grafana Alloy : Gestion des Traces avec Tempo

Plongez dans le traitement des traces distribuées. Apprenez à ingérer des tra...

Grafana Alloy : Profilage Continu avec Pyroscope

Découvrez comment configurer le profilage continu (Continuous Profiling) dans...

Grafana Alloy : Déploiement Avancé et Clustering

Apprenez à gérer les déploiements à grande échelle de Grafana Alloy. Configur...

Grafana Assistant : L'IA au service de l'observabilité

Découvrez Grafana Assistant, l'intelligence artificielle intégrée à Grafana C...

Grafana Alloy vs OpenTelemetry Collector : Lequel choisir ?

Comparaison détaillée entre Grafana Alloy et l'OpenTelemetry Collector. Décou...

Grafana Alloy vs Dynatrace ActiveGate : Lequel choisir ?

Comparaison entre Grafana Alloy et Dynatrace ActiveGate. Comprenez les différ...

Grafana Alloy vs Grafana Agent vs Promtail : Lequel choisir ?

Découvrez l'évolution des collecteurs de télémétrie de l'écosystème Grafana. ...

Référence des Composants Grafana Alloy

Un guide de référence complet sur tous les composants disponibles dans Grafan...

Les types de transactions dans les base de données

Cet article détaille les différences entre trois concepts essentiels dans l'e...