Filtrez vos documents avec correction

Les prérequis #

Vous devez disposer d'un cluster Elasticsearch avec une instance Kibana connectée à ce cluster. Nous vous invitons à faire le TP sur l'installation d'Elasticsearch si ce n'est pas encore le cas.

Lucene #

1. Langage de recherche

   Dans l'application 'Disvover' comment changer le langage pour filtrer les résultats? Quel est le langage par défaut?

   Voir la correction

   Le langage par défaut est 'KQL (Kibana Query Language)'.
   
   Pour le modifier, il faut cliquer sur et ensuite sélectionner un langage

2. Mon premier filtre

   Dans l'index 'mon-premier-index', affichez tous les documents dont le message contient le mot 'bulk

   Voir la correction

   Vous pouvez utiliser le filtre :

   message:bulk

3. Mon second filtre

   Dans l'index 'mon-premier-index', affichez tous les documents dont le message contient exactement 'mon bulk', avec un id entre 2 et 4 et avec comme valeur de 'office' 'RousselTM' ou 'Elastic'

   Voir la correction

   Vous pouvez utiliser le filtre :

    message:"mon bulk" AND id:[2 TO 4] AND (user.office:RousselTM OR user.office:Elastic)

4. Vous l'avez remarqué ?

   Par défaut Elasticsearch a interprété tout notre JSON. Dans cet exercice on va supposer qu'on souhaite qu'il conserve tout le contenu de 'user' dans le même champs. Quel mapping faudrait-il mettre pour cela? On va donc créer un nouveau index nommé 'mon-second-index' avec ce mapping et réimporter notre bulk pour voir la différence.

   Voir la correction

   Vous pouvez lancer les commandes ci-dessous :

   PUT mon-second-index
   {
   	"mappings": {
   		"properties": {
   			"user": {
   				"type": "nested"
   			}
   		}
   	}
   }
   
   POST _bulk
   { "index" : { "_index" : "mon-second-index" } }
   { "message" : "mon bulk",   "id": 1, "user": { "office": "RousselTM", "number":125} }
   { "index" : { "_index" : "mon-second-index" } }
   { "message" : "mon bulk", "id": 2, "user": {"office": "rousseltm", "number":4258} }
   { "index" : { "_index" : "mon-second-index" } }
   { "message" : "mon bulk", "id": 3, "user": {"office": "Immo", "number":28215} }
   { "index" : { "_index" : "mon-second-index" } }
   { "message" : "mon bulk", "id": 4, "user": {"office": "Elastic", "number":2825} }
   { "index" : { "_index" : "mon-second-index" } }
   { "message" : "mon bulk", "id": 5, "user": {"office": "ElAStic", "number":2452} }
   

   En comparant les deux index, vous aurez cette différence :
   - Sans :
   
   - Avec :
   

5. Rechercher dans un champs 'nested'

   On va refaire la même recherche précédente mais dans 'mon-second-index'

   Voir la correction

   La recherche ne fonctionnera pas car vous êtes sur une des limites du filtre Lucene : Ne peut pas filtrer sur des

   • nested objects
   • scripted fields

   Il faut donc passer à KQL

Kibana Query Language #

1. Bon à savoir

   Tout ce que vous avez pu faire avec les filtres Lucene est possible avec du KQL et bien plus.

2. Mon premier filtre

   Dans l'index 'mon-second-index', affichez tous les documents dont le 'user.number' est supérieur ou égal à 2825

   Voir la correction

   Vous pouvez utiliser le filtre :

   user:{ number >= 2825 }

   Bien évidement vous pourrez faire des requêtes complexes avec AND et OR.

3. Opérations

   Dans l'index 'mon-second-index', affichez la moyenne des 'user.number'

   Voir la correction

   KQL et Lucene sont des langages qui peuvent uniquement filtrer vos documents.

Niveau de difficulté : ●●●○○ (3/5)