[TP] Projet 1

  1. Accueil
  2. Conteneurisation
  3. Docker : de la découverte à l'expertise
  4. Pour aller plus loin

[TP] Projet 1


Pour ce TP, nous allons réaliser un projet.

Ce que vous allez apprendre dans ce TP :
  • Installer Docker
  • Activer le mode SWARM de Docker
  • De créer un fichier Dockerfile
  • De modifier et/ou surcharger un fichier docker compose existant
  • De créer un fichier Docker compose à partir d'un besoin
  • Déployer un fichier docker compose
  • De créer une stack/service docker avec un fichier docker compose
  • De surveiller son infrastructure avec Prometheus/Grafana
  • De déployer un registre privé avec Harbor
  • Déployer un registre Harbor
  • Importer une image dans un registre
  • Rechercher des vulnérabilités sur une image
  • Mettre en place la surcharge d'un fichier docker compose
  • Utilisation avancée des labels (Mise en place dans le Projet 2)

Introduction


Ce que vous allez apprendre dans cette section :
  • Installer Docker
  • Activer le mode SWARM de Docker
  • De créer un fichier Dockerfile
  • De modifier et/ou surcharger un fichier docker compose existant
  • De créer un fichier Docker compose à partir d'un besoin
  • Déployer un fichier docker compose
  • De créer une stack/service docker avec un fichier docker compose
  • De surveiller son infrastructure avec Prometheus/Grafana
  • De déployer un registre privé avec Harbor

Ce projet a pour objectif de vous faire manipuler différentes notions autour de Docker et surtout de les combiner en vue d'atteindre un objectif. Pour cela, nous allons installer et configurer un cluster Docker avec SWARM d'activé et déployer sur ce dernier différents sous-projets sous forme de stack. Le but est de mettre en place cette architecture : Une configuration matérielle recommandée est 16GO de RAM

Environnement de test

Pour réaliser ce TP, il vous faudra un environnement Ubuntu(Mais le TP est faisable avec d'autres OS/distributions). Sur cette machine, nous allons créer 3 machines virtuelles avec les caractéristiques suivantes:
  • Machine virtuelle 1 :
    • Nom : manager
    • vCPU : minimum 2
    • RAM : minimum 2 GO
    • IP : 192.168.56.2
  • Machine virtuelle 2 :
    • Nom : worker1
    • vCPU : minimum 2
    • RAM : minimum 2 GO
    • IP : 192.168.56.3
  • Machine virtuelle 3 :
    • Nom : worker1
    • vCPU : minimum 2
    • RAM : minimum 2 GO
    • IP : 192.168.56.4
Pour vous aider à mettre cet environnement en place, nous avons mis à votre disposition un repo avec une configuration Vagrant/Virtualbox prête à l'emploi.

RAPPEL : Ce TP est dédié à la configuration de Docker mais comme il s'agit d'un TP avancé, vous aurez besoin de notions et connaissances autour du DevOps qui ne sont pas propres à Docker mais qui seront utilisées dans vos configurations. Vous aurez besoin des compétences suivantes dont vous pouvez suivre gratuitement la formation : Bien évidemment, on va mettre le maximum d'informations à votre disposition pour vous faire avancer même sans ces prérequis.

Pour cela, il faut installer Vagrant et Virtualbox sur votre machine. Une fois cela fait, il ne vous reste plus qu'à lancer les commandes suivantes: 
git clone https://github.com/RousselTM/docker-formation
cd docker-formation/tp/6_projet
vagrant up

Pre-configuration

Les actions suivantes sont nécessaires pour préparer votre environnement de test.
  1. Les domaines
    Vous devez déclarer les domaines suivants sur votre machine (dans le fichier hosts). Ils seront utilisés pour accéder aux différents sous projet et doivent pointer vers 127.0.0.1(Dans le TP suivant on introduira Traefik pour optimiser la gestion des ports) :
    • tp.elearning.rousseltm.fr: Pour accéder aux applications. Par exemple, pour accéder à l'application 1, on utilisera l'adresse http://tp.elearning.rousseltm.fr/app1
    • registry.tp.elearning.rousseltm.fr : pour accéder à Harbor
    • grafana.tp.elearning.rousseltm.fr : pour accéder à Grafana
    • prometheus.tp.elearning.rousseltm.fr : pour accéder à Prometheus
    En entreprise, vous devez utiliser un serveur DNS.
  2. Installation Docker
    Vous pouvez vérifier si vos machines sont bien démarrés avec la commande suivante : 
    vagrant status
    Si elles sont bien démarrées (status running), vous pouvez vous connecter à la machine manager avec la commande suivante : 
    vagrant ssh manager
    Il ne vous reste plus qu'à installer Docker sur l'ensemble des VMs. Une fois l'installation faite, vous devez démarrer le service et le mettre en démarrage automatique
  3. Mode SWARM
    Vous devez mettre en place le cluster Docker avec le mode SWARM activé. La machine 'manager' doit être le manager du cluster et les machines 'workerX' doivent être les workers du cluster. Comme les machines ont plusieurs IP, on va utiliser l'IP 192.168.56.2 comme adresse de gestion du plan de contrôle.
    RAPPEL : Sur toutes les machines créées par Vagrant il y a un dossier /vagrant qui correspond au montage du dossier dans lequel se trouve le fichier Vagrantfile: donc le contenu dossier 6_projet. Donc vous pouvez utiliser ce dossier pour partager des fichiers entre les machines. Par exemple, le fichier contenant les tokens pour joindre le cluster. Bien évidemment en Production, il faudra utiliser une solution plus sécurisée
    Vous devez fournir la commande Docker qui va permettre de stocker dans le /vagrant/swarm-token-worker le token pour joindre le cluster comme worker.
  4. Réseau partagé
    Vous devez créer les réseaux suivants
    • common-proxy: pour la communication entre les conteneurs via le proxy. Sera pleinement utilisé dans le TP suivant avec l'utilisation de Traefik.
    • common-observability: pour la communication entre les conteneurs d'observabilité
    On fera un déploiement mixte pour manipuler la communication entre des sous projets déployés avec le mode SWARM et ceux sans mode SWARM. Il faut donc mettre en place le bon paramètre sur le réseau 'common-proxy' lors de sa création.

Sous projet 1


Ce que vous allez apprendre dans cette section :
  • Déployer un registre Harbor
  • Importer une image dans un registre
  • Rechercher des vulnérabilités sur une image
  • Mettre en place la surcharge d'un fichier docker compose
  • Utilisation avancée des labels (Mise en place dans le Projet 2)

Nous allons créer un registre docker avec Harbor sur la machine manager. Nous le ferons fonctionner sur le domaine registry.tp.elearning.rousseltm.fr. Pour ce premier projet, on va le déployer en HTTP sur le port 5000(port par défaut des registres Docker en HTTP).
RAPPEL : Le site officiel de Harbor https://goharbor.io/ et vous pouvez revoir la vidéo de présentation de Harbor à cette adresse : Présentation et déploiement Harbor
  1. Déploiement
    Vous devez installer Harbor avec le service trivy sur le port 5000. Si tout est ok, vous devez pouvoir accéder depuis la machine hôte à Harbor à l'adresse 
    http://registry.tp.elearning.rousseltm.fr:5000
    INFORMATION : Dans le dossier 6_projet, vous avez un dossier nommé 'projects' dont le contenu sera automatiquement monté dans /opt/projects sur l'ensemble des VMs. Vous pouvez donc l'utiliser pour gérer vos fichiers pour les sous projets. Nous conseillons 1 dossier par sous projet.
  2. Personnalisation
    Le script install.sh à généré un fichier docker-compose.yml donc si on souhaite modifier des paramètres il faudra éditer ce fichier. Mais on va perdre toutes nos modifications à chaque exécution du script.

    Vous devez proposer une solution pour éviter cela sachant qu'on souhaite que le conteneur 'proxy' se connecte au réseau 'common-proxy' et qu'il dispose du label dt.owner (Explication de ce label Dynatrace) avec comme valeur 'equipe1'. Dans la même lancée, ajouter un label pour dire à Filebeat de ne pas prendre en compte ses logs.

    On va dans un premier temps déployer simplement avec 'docker compose' pour tester et dans un second temps sous forme de stack 'docker stack'.

    ATTENTION : La surcharge doit aussi être prise en compte par le script install.sh

Sous projet 2

  1. Build image
    Vous devez créer un Dockerfile pour construire une image pour l'application GO suivante qui sera nommée simple-app er aura le tag 1.0 : Cette application doit générer un binaire '/app/simple-app' et utiliser '/app' comme dossier de travail.
  2. Ajout de l'image au registre Harbor
    Vous devez envoyer cette image dans le projet(Explication sur la notion de projet dans Harbor) 'library' dans Harbor. On a fait le choix de 'library' car il s'agit du projet Public par défaut. Ainsi, l'image pourra être utilisée dans d'autres projets (Voir TP suivant). Pour rappel suite à votre installation, Harbor est disponible à l'adresse 
    http://registry.tp.elearning.rousseltm.fr:5000
  3. Scan de vulnérabilité
    Vous devez scanner l'image importée pour vérifier ses vulnérabilités face aux failles CVE.
  4. Déploiement Docker
    La configuration à construire doit répondre à ces besoins :
    • Application 2-tier: go et redis
    • Les services ne doivent s'exécuter que sur les workers. Cette configuration doit être externalisée pour permettre de la partager avec d'autres applications dans le même cas.
    • Les services doivent utiliser les dernières versions (en production utiliser des versions fixes) des images officielles et l'application GO utiliser l'image construite précédemment et disponible sur Harbor.
    • 1 instance de chaque service
    • Le service GO doit exporter la variable d'environnement APP='APP1'
    • Le service GO doit exporter la variable d'environnement TASK_SLOT dans laquelle vous devez y mettre le numéro de replica du conteneur (Les templates).
    • Le service de l'application go doit rattaché au réseau 'common-proxy'
  5. Répartition de charge
    Vous devez vérifier que lorsque vous appelez l'URL de l'application (http://tp.elearning.rousseltm.fr) il retourne bien cette page et que les champs surlignés changent bien quand vous mettez à jour la page et bascule bien entre les deux conteneurs :

Sous projet 3

Sous projet observabilité constitué de Prometheus, de Grafana, de Node exporter et de cAdvisor. Ce sous projet est celui de l'observabilité et donc va nous permettre d'avoir une visibilité sur l'ensemble de notre projet.
  1. Déploiement Docker
    La configuration à construire doit répondre à ces besoins :
    • Rendre accessible Grafana sur le port 3000
    • Rendre accessible Prometheus sur le port 9090
  2. Configuration des services
    La configuration à construire doit répondre à ces besoins :
    • Importer automatiquement dans Grafana la datasource Prometheus et Elasticsearch
    • Importer les tableaux de bord avec l'ID : 609
    • Collecter les métriques de Traefik
    • Collecter les métriques de l'ensemble des noeuds du cluster
    • Collecter les métriques de l'ensemble des conteneurs

Niveau de difficulté: (3/5)
Vous avez terminé ?
Session précédente Voir la correction