[TP] Installation Filebeat

  1. Accueil
  2. Observabilité
  3. Beats : de la découverte à l'expertise
  4. Introduction

[TP] Installation Filebeat


Pour ce TP, nous allons procéder à l installation de Filebeat avec Docker

Ce que vous allez apprendre dans ce TP :
  • Installer Filbeat
  • Identifier les fichiers et repertoires importants
  • Utilisation des modules
  • Utilisation avancée des labels
  • Déployer un registre Harbor
  • Importer une image dans un registre
  • Rechercher des vulnérabilités sur une image
  • Mettre en place la surcharge d'un fichier docker compose
  • Utilisation avancée des labels (Mise en place dans le Projet 2)

Introduction


Ce que vous allez apprendre dans cette section :
  • Installer Filbeat
  • Identifier les fichiers et repertoires importants
  • Utilisation des modules
  • Utilisation avancée des labels

Nous allons procéder à l'installation de Filebeat en utilisant la technologie Docker.
  1. Procédure
    Vous devez fournir le lien pour retrouver toutes les procédures d'installation de Filbeat ainsi que celle pour l'installer sur un OS de type Linux.

Docker

Nous allons procéder à l'installation de Filebeat sur Docker avec un fichier docker compose.
  1. Les dossiers
    Vous devez fournir la liste des dossiers nécessaire au bon fonctionnement de Filebeat en environnement DOocker.
  2. Mode SWARM
    Vous devez mettre en place le cluster Docker avec le mode SWARM activé. La machine 'manager' doit être le manager du cluster et les machines 'workerX' doivent être les workers du cluster. Comme les machines ont plusieurs IP, on va utiliser l'IP 192.168.56.2 comme adresse de gestion du plan de contrôle.
    RAPPEL : Sur toutes les machines créées par Vagrant il y a un dossier /vagrant qui correspond au montage du dossier dans lequel se trouve le fichier Vagrantfile: donc le contenu dossier 6_projet. Donc vous pouvez utiliser ce dossier pour partager des fichiers entre les machines. Par exemple, le fichier contenant les tokens pour joindre le cluster. Bien évidemment en Production, il faudra utiliser une solution plus sécurisée
    Vous devez fournir la commande Docker qui va permettre de stocker dans le /vagrant/swarm-token-worker le token pour joindre le cluster comme worker.
  3. Réseau partagé
    Vous devez créer les réseaux suivants
    • common-proxy: pour la communication entre les conteneurs via le proxy. Sera pleinement utilisé dans le TP suivant avec l'utilisation de Traefik.
    • common-observability: pour la communication entre les conteneurs d'observabilité
    On fera un déploiement mixte pour manipuler la communication entre des sous projets déployés avec le mode SWARM et ceux sans mode SWARM. Il faut donc mettre en place le bon paramètre sur le réseau 'common-proxy' lors de sa création.

Sous projet 1


Ce que vous allez apprendre dans cette section :
  • Déployer un registre Harbor
  • Importer une image dans un registre
  • Rechercher des vulnérabilités sur une image
  • Mettre en place la surcharge d'un fichier docker compose
  • Utilisation avancée des labels (Mise en place dans le Projet 2)

Nous allons créer un registre docker avec Harbor sur la machine manager. Nous le ferons fonctionner sur le domaine registry.tp.elearning.rousseltm.fr. Pour ce premier projet, on va le déployer en HTTP sur le port 5000(port par défaut des registres Docker en HTTP).
RAPPEL : Le site officiel de Harbor https://goharbor.io/ et vous pouvez revoir la vidéo de présentation de Harbor à cette adresse : Présentation et déploiement Harbor
  1. Déploiement
    Vous devez installer Harbor avec le service trivy sur le port 5000. Si tout est ok, vous devez pouvoir accéder depuis la machine hôte à Harbor à l'adresse 
    http://registry.tp.elearning.rousseltm.fr:5000
    INFORMATION : Dans le dossier 6_projet, vous avez un dossier nommé 'projects' dont le contenu sera automatiquement monté dans /opt/projects sur l'ensemble des VMs. Vous pouvez donc l'utiliser pour gérer vos fichiers pour les sous projets. Nous conseillons 1 dossier par sous projet.
  2. Personnalisation
    Le script install.sh à généré un fichier docker-compose.yml donc si on souhaite modifier des paramètres il faudra éditer ce fichier. Mais on va perdre toutes nos modifications à chaque exécution du script.

    Vous devez proposer une solution pour éviter cela sachant qu'on souhaite que le conteneur 'proxy' se connecte au réseau 'common-proxy' et qu'il dispose du label dt.owner (Explication de ce label Dynatrace) avec comme valeur 'equipe1'. Dans la même lancée, ajouter un label pour dire à Filebeat de ne pas prendre en compte ses logs.

    On va dans un premier temps déployer simplement avec 'docker compose' pour tester et dans un second temps sous forme de stack 'docker stack'.

    ATTENTION : La surcharge doit aussi être prise en compte par le script install.sh

Sous projet 2

  1. Build image
    Vous devez créer un Dockerfile pour construire une image pour l'application GO suivante qui sera nommée simple-app er aura le tag 1.0 : Cette application doit générer un binaire '/app/simple-app' et utiliser '/app' comme dossier de travail.
  2. Ajout de l'image au registre Harbor
    Vous devez envoyer cette image dans le projet(Explication sur la notion de projet dans Harbor) 'library' dans Harbor. On a fait le choix de 'library' car il s'agit du projet Public par défaut. Ainsi, l'image pourra être utilisée dans d'autres projets (Voir TP suivant). Pour rappel suite à votre installation, Harbor est disponible à l'adresse 
    http://registry.tp.elearning.rousseltm.fr:5000
  3. Scan de vulnérabilité
    Vous devez scanner l'image importée pour vérifier ses vulnérabilités face aux failles CVE.
  4. Déploiement Docker
    La configuration à construire doit répondre à ces besoins :
    • Application 2-tier: go et redis
    • Les services ne doivent s'exécuter que sur les workers. Cette configuration doit être externalisée pour permettre de la partager avec d'autres applications dans le même cas.
    • Les services doivent utiliser les dernières versions (en production utiliser des versions fixes) des images officielles et l'application GO utiliser l'image construite précédemment et disponible sur Harbor.
    • 1 instance de chaque service
    • Le service GO doit exporter la variable d'environnement APP='APP1'
    • Le service GO doit exporter la variable d'environnement TASK_SLOT dans laquelle vous devez y mettre le numéro de replica du conteneur (Les templates).
    • Le service de l'application go doit rattaché au réseau 'common-proxy'
  5. Répartition de charge
    Vous devez vérifier que lorsque vous appelez l'URL de l'application (http://tp.elearning.rousseltm.fr) il retourne bien cette page et que les champs surlignés changent bien quand vous mettez à jour la page et bascule bien entre les deux conteneurs :

Sous projet 3

Sous projet observabilité constitué de Prometheus, de Grafana, de Node exporter et de cAdvisor. Ce sous projet est celui de l'observabilité et donc va nous permettre d'avoir une visibilité sur l'ensemble de notre projet.
  1. Déploiement Docker
    La configuration à construire doit répondre à ces besoins :
    • Rendre accessible Grafana sur le port 3000
    • Rendre accessible Prometheus sur le port 9090
  2. Configuration des services
    La configuration à construire doit répondre à ces besoins :
    • Importer automatiquement dans Grafana la datasource Prometheus et Elasticsearch
    • Importer les tableaux de bord avec l'ID : 609
    • Collecter les métriques de Traefik
    • Collecter les métriques de l'ensemble des noeuds du cluster
    • Collecter les métriques de l'ensemble des conteneurs

Niveau de difficulté: (2/5)
Vous avez terminé ?
Session précédente Voir la correction