Ajouter un volume Amazon EBS à votre moteur pour stocker les logs d'exécution - Cloud

Vous avez la possibilité de créer et de lier un volume Elastic Block Store (EBS) au Remote Engine Gen2 afin de stocker tous les logs relatifs aux Pipelines exécutés sur ce moteur.

1. Créer un volume Amazon EBS :
   1. Depuis la console Amazon EC2, naviguez jusqu'à ELASTIC BLOCK STORE > Volumes.
   2. Cliquez sur Create Volume pour ouvrir le formulaire de création correspondant.
   3. Sélectionnez Magnetic dans la liste Volume Type et saisissez 100 dans le champ Size (dans Gib).
      Définissez une taille en adéquation avec la purge de logs que vous avez définie précédemment.
   4. Dans la liste Availability Zone, sélectionnez la zone dans laquelle votre Remote Engine Gen2 est installée.
   5. Cliquez sur Create Volume pour valider sa création et cliquer sur son ID pour filtrer la liste et afficher le nouveau volume.
2. Lier le volume EBS à l'instance EC2 de Remote Engine Gen2 en cours d'exécution :
   1. Sélectionnez le nouveau volume et cliquez sur Actions > Attach Volume.
   2. Dans le champ Instance, saisissez ou sélectionnez l'ID de votre instance Remote Engine Gen2.
      La valeur du champ Device sera automatiquement remplie une fois votre instance sélectionnée.
3. Formater et monter le volume pour le rendre utilisable :
   1. Connectez-vous à l'instance Remote Engine Gen2 utilisant SSH.
   2. Exécutez la commande lsblk pour lister les informations EBS (disques et points de montage) et voir le volume non lié (/dev/xvdg dans cet exemple).

      Exemple

      [ec2-user ~]$ lsblk
      NAME    MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
      xvdg    202:96   0   1G  0 disk 

   3. Exécutez la commande file -s <ebsvolume> pour vérifier si le volume possède un système de fichiers. Si cette commande retourne des données similaires à la sortie d'exemple suivante, il n'y a pas de système de fichiers sur le volume et vous devez en créer un.

      Exemple

      [ec2-user ~]$ sudo file -s /dev/xvdg
      /dev/xvdg: data

   4. Exécutez la commande mkfs -t pour créer un système de fichiers sur le volume.

      Exemple

      [ec2-user ~]$ sudo mkfs -t ext4 /dev/xvdg

   5. Exécutez la commande mkdir pour utiliser Livy en tant que répertoire de points de montage du volume.

      Exemple

      [ec2-user ~]$ sudo mkdir /livy_jobs_log
      [ec2-user ~]$ sudo mount /dev/xvdg /livy_jobs_log
      [ec2-user ~]$ lsblk
      NAME    MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
      xvdg    202:96   0   1G  0 disk /livy_jobs_log

4. Monter le volume depuis Livy vers l'instance EC2 :
   1. Modifiez le fichier docker-compose.yml situé dans le répertoire d'installation Remote Engine Gen2.
   2. Recherchez le service nommé livy et configurez le paramètre LIVY_JOB_LOG_PERSISTENCE_PATH avec la valeur /livy_jobs_log. La valeur par défaut est /tmp/livy/jobs.

      Exemple

      livy:
      	...
      	volumes:
      		...
      		- /livy_jobs_log:/tmp/livy/jobs:rw

   3. Redémarrez Livy en exécutant cette commande :

      docker-compose up -d livy