Mi segundo pipeline con corrección

Requisitos previos #

Debe haber realizado el taller 'Mi primer pipeline'

Configuración de las entradas #

Debe crear un archivo en /etc/logstash/conf.d llamado "0-input-file-advanced.conf".

1. Lectura de un archivo

   En este archivo, debe añadir la configuración de logstash para leer el contenido de todos los archivos de log que empiecen por: "/var/log/rousseltm/advanced-".
   
   Debe añadir un type para este archivo con el valor 'advanced'.

   Este ejemplo de configuración le permitirá leer este archivo:

   root@logstash-formation:/#cat /etc/logstash/conf.d/0-input-file-advanced.conf
   input {
   	file {
   		path => "/var/log/rousseltm/advanced-*.log"
   		"type" => "advanced"
   		codec => multiline {
   			pattern => "^\[%{DAY} %{MONTH} %{MONTHDAY} %{TIME} %{YEAR}\] "
   			negate => true
   			what => "previous"
   		}
   	}
   }
   

   Si observa bien el archivo, verá que de la línea 1 a la línea 8 se trata de la misma línea de log. Por tanto, hay que indicarle a Logstash que es la misma línea. Usaremos un codec de tipo multiline para indicar cómo identificar cada inicio de línea. El parámetro 'pattern' admite grok.

Configuración de los filtros #

Debe crear un segundo archivo llamado "101-filter-advances.conf".

1. Extracción de datos

   Debe identificar el filtro más adecuado para un archivo plano y establecer la configuración que permita extraer los campos del archivo de log leído previamente, sabiendo que estos archivos contienen varios formatos de log.

   Usaremos un filtro grok, ya que hay varios formatos de log en el mismo archivo. Por tanto, proporcionaremos varios patrones para la configuración grok.
   
   Además, añadiremos una condición 'if' para que este nuevo filtro solo procese los datos de tipo 'advance'. Deberá revisar su filtro simple para hacer lo mismo.

2. Cambio de tipo

   Queremos convertir el campo "HTTP_CODE" a entero. De hecho, suele haber operaciones aritméticas sobre este campo al hacer visualizaciones (paneles, alertas...). Por ejemplo, mostrar todos los códigos entre 200 y 205.

   Añadimos un filtro mutate con la opción convert para convertir el campo a entero:

   root@logstash-formation:/# cat /etc/logstash/conf.d/101-filter-advanced.conf
   ...
   	mutate {
   		convert => {"http_code" => "integer" }
   	}
   ...

3. Eliminación de un campo

   Vamos a eliminar el campo message ya que hemos extraído la información que nos interesa.

   Añadimos un bloque remove_field, lo que nos da en conjunto:

   root@logstash-formation:/# cat /etc/logstash/conf.d/101-filter-advanced.conf
   filter {
   	if [type] == "advanced" {
   		grok {
   			match => {
   				"message" => [
   					"\[(?%{DAY} %{MONTH} %{MONTHDAY} %{TIME} %{YEAR})\] %{DATA} \[%{NUMBER:http_code}\]: %{WORD:http_verb} %{URIPATHPARAM:http_request}%{GREEDYDATA:others}",
   					"\[(?%{DAY} %{MONTH} %{MONTHDAY} %{TIME} %{YEAR})\] %{DATA} %{WORD:status}"
   				]
   			}
   			remove_field => ["message"]
   		}
   		mutate {
   			convert => { "http_code" => "integer" }
   		}
   
   	}
   
   }

Configuración de las salidas #

Debe modificar el archivo "200-output-file-nginx-access".

1. Escritura en un archivo

   En este archivo, debe actualizar la configuración de logstash para que escriba los logs en el archivo correspondiente a su 'type'

   Esta configuración le permitirá escribir en el archivo de forma dinámica según el tipo de log:

   root@logstash-formation:/# cat 200-output-file
   output {
   	file {
   		path => "/var/log/rousseltm/parsed/%{[type]}.json"
   	}
   }

Nivel de dificultad : ●●●○○ (3/5)