Mon second pipeline avec correction

Les prérequis #

Vous devez avoir fait le TP 'Mon premier pipeline'

Configuration des entrées #

Vous devez créer un fichier dans /etc/logstash/conf.d nommé "0-input-file-advanced.conf".

1. Lecture d'un fichier

   Dans ce fichier, vous devez ajouter la configuration logstash pour lire le contenu de tous les fichiers de log commençant par : "/var/log/rousseltm/advanced-".
   
   Vous devez ajouter un type pour ce fichier avec comme valeur 'advanced'.
   Voir la correction

   Cet exemeple de configuration va vous permettre de lire ce fichier :

   root@logstash-formation:/#cat /etc/logstash/conf.d/0-input-file-advanced.conf
   input {
   	file {
   		path => "/var/log/rousseltm/advanced-*.log"
   		"type" => "advanced"
   		codec => multiline {
   			pattern => "^\[%{DAY} %{MONTH} %{MONTHDAY} %{TIME} %{YEAR}\] "
   			negate => true
   			what => "previous"
   		}
   	}
   }
   

   Si vous regardez bien le fichier, vous verrez que de la ligne 1 à la ligne 8 il s'agit de la même ligne de logs. Il faut donc signaler à Logstash qu'il s'agit de la même ligne. On utilise donc un codec de type multiline pour signaler comment identifier chaque début de ligne. Le paramètre 'pattern' supporte le grok.

Configuration des filtres #

Vous devez créer un second fichier nommé "101-filter-advances.conf".

1. Extraction de données

   Vous devez identifier le filtre le plus adapté pour un fichier plat et mettre la configuration qui va permettre d'extraire les champs du fichier de logs précédemment lu sachant que ces fichiers sont constitués de plusieurs formats de logs.

   Voir la correction

   On va utiliser un filtre grok comme il y a plusieurs formats de logs dans le même fichier. On fournira donc plusieurs patternes pour la configuration grok.
   
   De plus, on va ajouter une condition 'if' pour que ce nouveau filtre ne traîte que les données de type 'advance'. Il faudra donc revoir votre filtre simple pour faire de même.

2. Modification de type

   On souhaite transformer en entier le champ "HTTP_CODE". En effet, il y a souvent des opérations arithmétiques sur ce champ quand on fait des restitutions (tableau de bord, alertes...). Par exemple afficher tous les codes entre 200 et 205.

   Voir la correction

   On ajoute un filtre mutate avec l'option convert pour convertir le champ en entier :

   root@logstash-formation:/# cat /etc/logstash/conf.d/101-filter-advanced.conf
   ...
   	mutate {
   		convert => {"http_code" => "integer" }
   	}
   ...

3. Suppression d'un champ

   On va supprimer le champ message comme on a déjà extrait les informations qui nous intéressent.

   Voir la correction

   On ajoute un bloc remove_field et cela nous donne au global :

   root@logstash-formation:/# cat /etc/logstash/conf.d/101-filter-advanced.conf
   filter {
   	if [type] == "advanced" {
   		grok {
   			match => {
   				"message" => [
   					"\[(?%{DAY} %{MONTH} %{MONTHDAY} %{TIME} %{YEAR})\] %{DATA} \[%{NUMBER:http_code}\]: %{WORD:http_verb} %{URIPATHPARAM:http_request}%{GREEDYDATA:others}",
   					"\[(?%{DAY} %{MONTH} %{MONTHDAY} %{TIME} %{YEAR})\] %{DATA} %{WORD:status}"
   				]
   			}
   			remove_field => ["message"]
   		}
   		mutate {
   			convert => { "http_code" => "integer" }
   		}
   
   	}
   
   }

Configuration des sorties #

Vous devez modifier le fichier "200-output-file-nginx-access".

1. Ecriture dans un fichier

   Dans ce fichier, vous devez mettre à jour la configuration logstash pour qu'il écrive les logs dans le fichier qui correspond à son 'type'

   Voir la correction

   Cette configuration va vous permettre d'écrire dans le fichier de manière dynamique en fonction du type de log :

   root@logstash-formation:/# cat 200-output-file
   output {
   	file {
   		path => "/var/log/rousseltm/parsed/%{[type]}.json"
   	}
   }

Niveau de difficulté : ●●●○○ (3/5)