[TP] Mon second pipeline




Ce que vous allez apprendre dans ce TP :

Les prérequis

Vous devez avoir fait le TP 'Mon premier pipeline'

Configuration des entrées

Vous devez créer un fichier dans /etc/logstash/conf.d nommé "0-input-file-advanced.conf".
  1. Lecture d'un fichier
    Dans ce fichier, vous devez ajouter la configuration logstash pour lire le contenu de tous les fichiers de log commençant par : "/var/log/rousseltm/advanced-".

    Vous devez ajouter un type pour ce fichier avec comme valeur 'advanced'.

Configuration des filtres

Vous devez créer un second fichier nommé "101-filter-advances.conf".
  1. Extraction de données
    Vous devez identifier le filtre le plus adapté pour un fichier plat et mettre la configuration qui va permettre d'extraire les champs du fichier de logs précédemment lu sachant que ces fichiers sont constitués de plusieurs formats de logs.
  2. Modification de type
    On souhaite transformer en entier le champ "HTTP_CODE". En effet, il y a souvent des opérations arithmétiques sur ce champ quand on fait des restitutions (tableau de bord, alertes...). Par exemple afficher tous les codes entre 200 et 205.
  3. Suppression d'un champ
    On va supprimer le champ message comme on a déjà extrait les informations qui nous intéressent.

Configuration des sorties

Vous devez modifier le fichier "200-output-file-nginx-access".
  1. Ecriture dans un fichier
    Dans ce fichier, vous devez mettre à jour la configuration logstash pour qu'il écrive les logs dans le fichier qui correspond à son 'type'

Niveau de difficulté: (3/5)