Mi primer pipeline

Lo que vas a aprender en este TP

• Instalar Logstash
• Construir un pipeline
• usar el input file
• Combinar diferentes filtros
• usar el output file
• usar condiciones
• usar variables

Introducción #

Lo que vas a aprender en esta sección

• Instalar Logstash
• Construir un pipeline
• usar el input file
• Combinar diferentes filtros
• usar el output file
• usar condiciones
• usar variables

Este taller tiene como objetivo enseñarle a construir un pipeline sencillo que permita leer un archivo de log, procesarlo y escribir su salida en un nuevo archivo

Requisitos previos #

Debe disponer de una máquina Linux con Logstash instalado. Si no dispone de una máquina o entorno de prueba, le invitamos a realizar primero el taller de instalación de Logstash. Si está realizando el taller sobre el entorno de pruebas, puede pedirle a Vagrant que instale Logstash:

export DEPLOY_LOGSTASH=true; vagrant up

Configuración de las entradas #

Debe crear un archivo en /etc/logstash/conf.d llamado "0-input-file-nginx-access.conf".

ATENCIÓN: en este taller le hemos indicado el nombre del archivo de configuración (0-input-file-nginx-access.conf), pero en la empresa deberá definir su propia convención de nombres adaptada a su contexto.

1. Lectura de un archivo

   En este archivo, debe añadir la configuración de logstash para leer el contenido del archivo "/var/log/rousseltm/nginx-access.log". Si usa nuestro entorno de pruebas Vagrant, los archivos de log ya estarán presentes en la VM en la carpeta /var/log/rousseltm. En caso contrario, deberá copiarlos manualmente: .
   Debe añadir un type para este archivo con el valor 'nginx_access'.

Configuración de los filtros #

Debe crear un segundo archivo llamado "100-filter-nginx-access.conf".

1. Extracción de datos

   Debe identificar el filtro más adecuado para un archivo plano y establecer la configuración que permita extraer los campos del archivo de log leído previamente, sabiendo que este archivo tiene un único formato de log

2. Cambio de tipo

   Queremos convertir el campo "http_code" a entero. De hecho, suele haber operaciones aritméticas sobre este campo al hacer visualizaciones (paneles, alertas...). Por ejemplo, mostrar todos los códigos entre 200 y 205.

3. Ajuste de fecha

   Como habrá notado en el archivo de log proporcionado, los logs no están ordenados. Si no ajusta el campo '@timestamp', tendrá los logs ordenados por aparición en el archivo en lugar de por fecha de generación de la línea de log.

4. Eliminación de un campo

   Queremos eliminar los campos
   • event.original
   • message: ya que hemos extraído la información que nos interesa
   . Habrá que usar métodos diferentes para eliminarlos.

   ATENCIÓN: es una buena práctica para ganar espacio de almacenamiento y rendimiento.

   En otros talleres veremos que solo habrá que eliminar 'message' cuando no haya errores de filtro.

Configuración de las salidas #

Debe crear un archivo en /etc/logstash/conf.d llamado "200-output-file-nginx-access.conf".

1. Escritura en un archivo

   En este archivo, deberá añadir la configuración de logstash para que escriba nuestro log procesado en el archivo "/var/log/rousseltm/parsed/TYPE.json"

Nivel de dificultad : ●●○○○ (2/5)