Projet 4 : Exploitation d'Elasticsearch avec correction

Ce que vous allez apprendre dans ce TP

• Prendre en main l'interface Grafana
• Création de tableaux de bord
• Affecter des tags à un tableau de bord
• Identifier et reconnaître la source de donnée
• Construction et utilisation d'une requête Lucene
• Utilisation d'une visualisation de type Geomap
• Personnalisation de la visualisation
• Définir la plage horaire par défaut
• Définir le titre et la description d'un panel
• Faire des graphiques à bornes
• Mettre en place un tableau avec feu tricolore
• Utiliser le value mapping
• Utiliser les regex
• Faire des graphiques à secteurs
• Construire unb panel à partir d'un autre
• Prendre en main la visualisation de type Logs
• Faire des requêtes sur des intervalles avec Lucene
• Faire des séries temporelles
• Utiliser le mode Metrics de la datasource Elasticsearch
• Faire des regroupements selon un critère
• exclure un champ par négation avec lucene
• Mettre en place une alerte

Introduction #

Ce que vous allez apprendre dans cette section

• Prendre en main l'interface Grafana
• Création de tableaux de bord
• Affecter des tags à un tableau de bord

Pour réaliser ce projet, vous devez installer votre propre instance Grafana (un TP disponible pour cela). Mais si vous faites une formation en présentiel, vous pouvez vous rapprocher de votre formateur pour avoir les identifiants pour vous connecter à l'instance https://demo.rousseltm.fr

ALERTE: N'hésitez pas à nous poser des questions car, il y a des notions d'autres produits que vous devez connaître (ou maîtriser) pour configurer facilement vos tableaux de bord Grafana:

• Query type : Nous vous conseillons de suivre cette vidéo qui explique les différents types de requêtes que vous pouvez faire Dans Grafana avec Elasticsearch. Voici le résumé nécessaire pour faire ce TP:
  • Metrics: Utilisé pour construire des graphiques temporels (time series). Repose sur les agrégations Elasticsearch (date_histogram, terms, avg, count, etc.).
  • Logs (valeur par défaut): Mode orienté observabilité/logs. Affiche les événements (documents) de manière chronologique. Grafana formate les champs (@timestamp, message, log.level, etc.) pour ressembler à un explorateur de logs (comme Kibana Discover).
  • Raw data: Retourne les documents Elasticsearch tels qu’ils sont stockés (JSON brut). Moins « user-friendly » que le mode Logs, mais plus fidèle aux données.
  • Raw Document (Déprécié): Ancienne version de Raw data. Utilisait _source directement et n’offrait pas toutes les optimisations récentes de Grafana.


• Lucene query : Nous vous conseillons de suivre cette vidéo qui explique la différence entre les langages d'Elasticsearch. Vous aurez besoin de comprendre le langage lucene pour faire ce TP et l'essentiel est expliqué Dans la vidéo

.

1. Prise en main

   Vous devez créer un dossier et y mettre votre tableau de bord. Si c'est une formation de groupe, le formateur va vous assigner un dossier dédié.

   Pour cela, Dans 'Dashboards', vous devez suivre ces étapes:

   • Se positionner Dans le dossier 'grafana-participants'
   • Cliquer sur 'New' ensuite 'New folder'

2. Création du tableau de bord

   Dans le dossier que vous venez de créer, vous devez créer un tableau de bord que vous allez nommer 'projet 4' et lui affecter le tag 'projet 4'. Vous devez ensuite identifier la bonne source de données qui correspond à Elasticsearch.

   Pour cela, Dans 'Dashboards', vous devez suivre ces étapes:

   • Se positionner Dans le dossier créé ci-dessus
   • Cliquer sur 'New' ensuite 'New dashboard'

   Dans la fenêtre qui va s'ouvrir, vous devez cliquer sur '+ Add visualization'

3. Création d'une variable

   Vous devez créer une variable nommée 'host' qui va afficher la liste des domaines(champ 'host') présents Dans la source de donnée de type 'Elasticsearch'. Vous devez permettre de sélectionner plusieurs options Dans la variable.

   ATTENTION: Pour chacun des panels ci-dessous, ils doivent varier en fonction du choix de la variable

   Pour cela, vous devez aller Dans les 'settings' du tableau de bord, onglet 'Variables' et cliquer sur 'Add variable'. Dans la page qui s'affiche, vous pouvez utiliser les paramètres par défaut et positionner ces valeurs pour ces champs :

   • 'Variable type', vous sélectionnez 'Query' car on a demandé à requêter un index 'Elasticsearch'.
   • 'Name' -> 'host'
   • 'Data source' -> Sélectionner la data source Elasticsearch
   • 'Query' -> ' {"find": "terms", "field": "host.keyword"} '
   • Vous devez cocher l'option 'Multi-value' Dans la section 'Selection options' pour permettre de sélectionner plusieurs valeurs

Panel : carte #

Ce que vous allez apprendre dans cette section

• Identifier et reconnaître la source de donnée
• Construction et utilisation d'une requête Lucene
• Utilisation d'une visualisation de type Geomap
• Personnalisation de la visualisation
• Définir la plage horaire par défaut
• Définir le titre et la description d'un panel

Prendre en main la représentation sous forme de carte

1. Source de données

   Vous devez identifier et choisir la source de donnée de type Elasticsearch.

   INFORMATION : En entreprise, vous devez définir une norme de nommage Dans Grafana. L'erreur que certains font est de mettre le type de la source Dans le nom pourtant il est facilement identifiable Dans la console Grafana

   Pour cela, vous devez choisir la source de donnée 'datasource3' car c'est elle qui correspond à Elasticsearch. Pour le savoir, à gauche du nom, vous avez le logo d'Elasticsearch, à droite le type 'Elasticsearch'

2. La requête

   Vous devez construire une requête Lucene pour afficher uniquement les documents qui ont un statut http à '503' et dont le champ 'machine.os' commence par 'win'. Pour rappel, vous avez créé une variable donc toutes les requêtes doivent l'inclure !

   Vous devez donc avoir cette requête Lucene :

   response:503 AND machine.os:win* AND host:$host

   . Pour rappel, on a demandé plus haut d'ajouter le filtre sur la variable d'où l'ajout de

   AND host:$host

3. Type de visualisation

   Vous devez choisir une visualisation qui correspond à une représentation sous forme de carte et utilise les champs suivants pour les coordonnées :
   • Latitude : geo.coordinates.lat
   • Longitude : geo.coordinates.lon

   Pour cela, vous devez choisir, Dans la partie 'Visualization' le type 'Geomap' qui correspond à un affichage sous forme de carte. Et Dans les paramètres :

   • [Map view] Initial view -> View : 'Fit to data'. Pour que la carte zoom sur les points.
   • [Map layers] Layer 1 -> Layer type : 'Markers'. Pour avoir des points comme repere de coordonnées
   • [Map layers] Layer 1 -> Data : 'Query A'. Pour sélectionner la requête qui fournira les informations
   • [Map layers] Layer 1 -> Location Mode : 'Coords'. Pour indiquer la manière d'identifier les positions : coordonnées.
   • [Map layers] Layer 1 -> Latitude field : 'geo.coordinates.lat'. Pour fournir la latitude
   • [Map layers] Layer 1 -> Longitude field : 'geo.coordinates.lon'. Pour fournir la longitude

4. Titre et description

   Vous devez définir, pour la visualisation, comme titre 'Répartition géographique des visiteurs' et comme description 'Représentation géographique des utilisateurs'

   Pour cela, vous devez remplir, Dans la partie 'Visualization', le champ 'Title' et 'Description'

5. Le détails des points

   Vous devez configurer le tableau pour qu'il affiche uniquement ces champs quand on se positionne sur un point :
   • host
   • clientip
   • @timestamp
   • geo.dest
   • geo.src
   • message
   Et tout champ qui est nécessaire au fonctionnement de la carte. Les champs doievent s'afficher Dans l'odre exacte des éléments.

   Vous devez vous servtir d'une transformation pour le faire. Dans l'onglet 'Transformations', ajoutez la transformation 'Organize fields by name' et masquez (en cliquant sur l'oeil devant le nom du champ) tous les champs qui ne sont pas demandées. Attention, on n'a pas demandé d'afficher les coordonnées mais vous ne pouvez pas les masquer sinon vous ne pourrez plus afficher les coordonnées ! Vous pouvez grâce à la même transformation changer la position des élements pour qu'ils s'affichent Dans l'ordre que vous souhaitez.

6. Plage horaire par défaut

   Vous devez configurer le tableau de bord pour qu'il affiche par défaut les données sur 30 jours.

   La méthode la plus simple consiste à vous positionner sur la période que vous souhaitez, Dans notre cas 'Last 30 days', et de cliquer sur 'Save dashboard'. Dans la fenêtre qui va s'ouvrir, cocher la case 'Update default time range', mettre Dans 'Message' votre message pour identifier les modifications faites en cas de besoin de revenir sur une version précédente. Pour finir, vous cliquez sur 'Save'.

Panel : Graphiques à bornes #

Ce que vous allez apprendre dans cette section

• Faire des graphiques à bornes
• Mettre en place un tableau avec feu tricolore
• Utiliser le value mapping
• Utiliser les regex

Vous devez créer un panel qui affiche un graphique à bornes représentant la répartition des codes retours. Vous devez mettre en place un feu tricolore sur ce modèle

• Vert avec le message 'OK' : code 2xx
• Jaune avec le message 'Redirection' : code 3xx
• Orange avec le message 'Erreur client' : code 4xx
• Rouge avec le message 'Erreur serveur' : code 5xx

1. Regroupement des données

   Vous devez mettre en place, grâce aux transformations, le regroupement des données par code retour et compter le nombre de fois que ce dernier apparaît Dans le temps.

   Vous devez utiliser la transformation 'Group by'. Le code retour est stocké Dans le champ 'response' donc positionner 'Group by' sur ce champ. Il ne reste plus qu'à appliquer l'opération : 'Calculate' -> 'Count' sur '@timestamp' (champ unique) par exemple

2. Conversion des données

   Un graphe à borne utilise des champs de type 'string'. Vous devez donc convertir les codes retour en chaîne de caractère.

   Vous devez utiliser la transformation 'Convert field type'. Le code retour est stocké Dans le champ 'response' donc positionner 'String' sur ce champ.

3. Mode de coloration

   Vous devez indiquer à Grafana qu'il doit se servir du code retour pour la couleur de la borne.

   Dans les paramètres de la visualisation, vous devez positionner 'response' (c'est Dans ce champs qu'est stocké le code retour) Dans le champs 'Color by field'

4. Feu tricolore

   Vous devez mettre en place le feu tricolore comme demandé en ci-dessus.

   On ne peut pas utiliser le 'Thresholds' car on a dû convertir notre champ en chaîne de caractère. On va donc utiliser le 'Value mappings'. Différentes options s'offrent à nous mais nous pensons que la méthode la plus simple est d'utiliser ce format de Regex :

   • condition: Regex, Regular expression: 2.*, Display test: OK, Color: vert
   • condition: Regex, Regular expression: 3.*, Display test: Redirection, Color: jaune
   • condition: Regex, Regular expression: 4.*, Display test: Erreur client, Color: orange
   • condition: Regex, Regular expression: 5.*, Display test: Erreur serveur, Color: rouge

Panel : Graphiques à secteurs #

Ce que vous allez apprendre dans cette section

• Faire des graphiques à secteurs
• Construire unb panel à partir d'un autre

Vous devez créer un panel qui affiche un graphique à bornes représentant la répartition des codes retours. Vous devez personnaliser les labels sur ce modèle

• Message 'OK' : code 2xx
• Message 'Redirection' : code 3xx
• Message 'Erreur client' : code 4xx
• Message 'Erreur serveur' : code 5xx

1. Dupliquer un panel

   Vous devez dupliquer le panel que vous venez de créer (Panel : Graphiques à bornes). Et les redimensionner pour qu'ils s'affichent sur une même ligne. Celui à Bornes occupe environ 2/3 de la ligne et le clone 1/3.

   Vous devez être en mode édition et cliquer sur le 'Menu' (en haut à droite, symbolisé par 3 points) -> More ... -> Duplicate. ou positionner le curseur sur le panel et utiliser le raccourci clavier 'p d'. Une fois le panel dupliqué, il ne vous reste plus qu'à réduire leurs tailles et les déplacer

2. Changer visualisation

   Vous devez modifier la visualisation pour que les données soient désormais affichées sous forme de secteurs.

   Vous devez utiliser la visualisation 'Pie chart'. Cela ne suffit pas, il faut aussi changer le mode d'affichage (Show) et le passer à 'All values'

3. Feu tricolore

   Est-il possible de faire du feu tricolore avec ce type de visualisation ?

   Non : il y a des visualisations qui ne permettent pas de personnaliser les couleurs (donc mettre en place les feux tricolores) : pie chart, timeseries ...

Panel : Logs #

Ce que vous allez apprendre dans cette section

• Prendre en main la visualisation de type Logs
• Faire des requêtes sur des intervalles avec Lucene

Vous devez ajouter au tableau de bord un panel pour visualiser des Logs.

1. Erreurs HTTP

   Vous devez ajouter un panel pour représenter des logs et qui affiche uniquement les logs d'erreurs HTTP.

   INFORMATION: une log d'erreur HTTP est une log qui a un code retour http de 4xx à 5xx

   Vous devez ajouter un nouveau panel avec une 'Query type' à 'Logs ou Raw Data' et mettre ceci comme requête Lucene response:[400 TO 599] AND host:$host. Enfin, vous devez choisir comme visualisation 'Logs'. Pour un début ces paramètres sont suffisants

Panel : série temporelle #

Ce que vous allez apprendre dans cette section

• Faire des séries temporelles
• Utiliser le mode Metrics de la datasource Elasticsearch
• Faire des regroupements selon un critère
• exclure un champ par négation avec lucene

Créer une série temporelle avec des données issues d'Elasticsearch. Ce graphe doit donner l'évolution du nombre de documents par code retour HTTP

1. Le type de requête

   Vous devez positionner le bon mode pour faire de la série temporelle. ET Dans la requête exclure tous les status HTTP à 2xx et 3xx

   Vous devez basculer le 'Query type' de la requête en mode 'Metrics' et ajouter ceci Dans 'Lucene Query' NOT response:[200 TO 3*] AND host:$host

2. Le regroupement

   Vous devez configurer Grafana pour qu'il regroupe les métriques par temps (Dans Elasticsearch le champ par défaut du temps est '@timestamp') et par code retour HTTP.

   Vous devez choisir comme 'Query type' 'Metrics' et Dans les options de 'Metrics', vous devez mettre :

   • Metric : Count
   • Group By : 'Date Histogram' -> '@timestamp'
   • Group By : 'Terms' -> 'response.keyword'

   .

3. La visualisation

   Vous devez sélectionner la visualisation qui permet d'afficher des series temporelles.

   Vous devez sélectionner la visualisation de type 'Time series'.

Alertes #

Ce que vous allez apprendre dans cette section

• Mettre en place une alerte

Vous devez positionner une alerte sur des erreurs serveurs.

INFORMATION: une erreur serveur est une log qui a un code retour http 5xx

1. Erreur serveur

   Vous devez mettre en place une alerte à chaque fois qu'on a une erreur serveur qui se produit. Les notifications doivent être envoyées sur le point de contect 'RousselTM'. Vous pouvez vérifier les notifications à l'adresse : Voir les notifications.

Niveau de difficulté : ●●●○○ (3/5)