[TP] Mi segundo pipeline

Requisitos previos #

Debe haber realizado el taller 'Mi primer pipeline'

Configuración de las entradas #

Debe crear un archivo en /etc/logstash/conf.d llamado "0-input-file-advanced.conf".

Lectura de un archivo
En este archivo, debe añadir la configuración de logstash para leer el contenido de todos los archivos de log que empiecen por: "/var/log/rousseltm/advanced-".

Debe añadir un type para este archivo con el valor 'advanced'.

Configuración de los filtros #

Debe crear un segundo archivo llamado "101-filter-advances.conf".

Extracción de datos
Debe identificar el filtro más adecuado para un archivo plano y establecer la configuración que permita extraer los campos del archivo de log leído previamente, sabiendo que estos archivos contienen varios formatos de log.
Cambio de tipo
Queremos convertir el campo "HTTP_CODE" a entero. De hecho, suele haber operaciones aritméticas sobre este campo al hacer visualizaciones (paneles, alertas...). Por ejemplo, mostrar todos los códigos entre 200 y 205.
Eliminación de un campo
Vamos a eliminar el campo message ya que hemos extraído la información que nos interesa.

Configuración de las salidas #

Debe modificar el archivo "200-output-file-nginx-access".

Escritura en un archivo
En este archivo, debe actualizar la configuración de logstash para que escriba los logs en el archivo correspondiente a su 'type'

Nivel de dificultad : ●●●○○ (3/5)

Glossaire de la formation

Observabilidad

La capacidad de conocer el estado interno de un sistema a partir de los datos que emite.Estos datos se clasifican en 3 pilares: logs (registros)métric...

Elastic Common Schema (ECS)

Una especificación de código abierto que permite estructurar sus datos de manera homogénea en el ecosistema Elastic.

Logstash

Motor de recopilación de datos que permite procesar, enriquecer y transformar registros y otros eventos antes de indexarlos.

Access Log (Registro de acceso)

Archivo de registro que guarda las solicitudes procesadas por un servidor web (Apache, Nginx, Lighttpd, etc.). Permite rastrear la actividad del servi...

Client IP (IP del Cliente)

La dirección IP del usuario que realiza la solicitud hacia el servidor web. Cuando un usuario pasa por un Load Balancer o un proxy (ej: Cloudflare), l...

Timestamp (Marca de tiempo)

La fecha y la hora exactas en las que el servidor recibió la solicitud.Configuración: %t en Apache, $time_local o $time_iso8601 en Nginx.

Request (Solicitud)

La línea de solicitud inicial del cliente. Generalmente incluye el método HTTP (ej: GET), la URL solicitada y la versión del protocolo HTTP.Configurac...

Status Code (Código de estado)

El código de estado HTTP final devuelto por el servidor al cliente (ej: 200 para un éxito, 404 para recurso no encontrado).Configuración: %>s en Apach...

Size (Tamaño)

El volumen de datos devuelto al cliente, medido en bytes (generalmente sin los encabezados HTTP).Configuración: %b u %O en Apache, $body_bytes_sent en...

Referrer (Referente)

La URL de la página web desde la que el cliente hizo clic o siguió un enlace para acceder al recurso actual.Configuración: %{Referer}i en Apache, $htt...

User-Agent

La información de identificación proporcionada por el cliente sobre su navegador, su sistema operativo y su dispositivo. Su estructura estándar a menu...

Response Time (Tiempo de respuesta)

El tiempo total que tarda el servidor en procesar la solicitud y devolver la respuesta al cliente.Configuración: %D (microsegundos) o %T (segundos) en...

Artículos recomendados