Ajouter un volume Amazon EBS à votre moteur pour stocker les logs d'exécution - Cloud

Guide de démarrage rapide de Talend Remote Engine Gen2

EnrichVersion
Cloud
EnrichProdName
Talend Cloud
EnrichPlatform
Talend Management Console
Talend Pipeline Designer
task
Déploiement > Déploiement > Exécution de Pipelines
Installation et mise à niveau

Vous avez la possibilité de créer et de lier un volume Elastic Block Store (EBS) au Remote Engine Gen2 afin de stocker tous les logs relatifs aux Pipelines exécutés sur ce moteur.

Avant de commencer

  • Vous avez recherché et copié l'ID et la zone de disponibilité de l'instance Remote Engine Gen2 depuis la page INSTANCES > Instances. Vous avez besoin de ces informations pour lier le volume au moteur.

Pourquoi et quand exécuter cette tâche

Cette configuration s'applique aux utilisateurs ayant installé Remote Engine Gen2 on-premises ou sur leur Cloud privé virtuel (AWS) ou utilisant CloudFormation.

Procédure

  1. Créer un volume Amazon EBS :
    1. Depuis la console Amazon EC2, naviguez jusqu'à ELASTIC BLOCK STORE > Volumes.
    2. Cliquez sur Create Volume pour ouvrir le formulaire de création correspondant.
    3. Sélectionnez Magnetic dans la liste Volume Type et saisissez 100 dans le champ Size (dans Gib).
      Définissez une taille en adéquation avec la purge de logs que vous avez définie précédemment.
    4. Dans la liste Availability Zone, sélectionnez la zone dans laquelle votre Remote Engine Gen2 est installée.
    5. Cliquez sur Create Volume pour valider sa création et cliquer sur son ID pour filtrer la liste et afficher le nouveau volume.
  2. Lier le volume EBS à l'instance EC2 de Remote Engine Gen2 en cours d'exécution :
    1. Sélectionnez le nouveau volume et cliquez sur Actions > Attach Volume.
    2. Dans le champ Instance, saisissez ou sélectionnez l'ID de votre instance Remote Engine Gen2.
      La valeur du champ Device sera automatiquement remplie une fois votre instance sélectionnée.
  3. Formater et monter le volume pour le rendre utilisable :
    1. Connectez-vous à l'instance Remote Engine Gen2 utilisant SSH.
    2. Exécutez la commande lsblk pour lister les informations EBS (disques et points de montage) et voir le volume non lié (/dev/xvdg dans cet exemple).

      Exemple

      [ec2-user ~]$ lsblk
      NAME    MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
      xvdg    202:96   0   1G  0 disk 
    3. Exécutez la commande file -s <ebsvolume> pour vérifier si le volume possède un système de fichiers. Si cette commande retourne des données similaires à la sortie d'exemple suivante, il n'y a pas de système de fichiers sur le volume et vous devez en créer un.

      Exemple

      [ec2-user ~]$ sudo file -s /dev/xvdg
      /dev/xvdg: data
    4. Exécutez la commande mkfs -t pour créer un système de fichiers sur le volume.

      Exemple

      [ec2-user ~]$ sudo mkfs -t ext4 /dev/xvdg
    5. Exécutez la commande mkdir pour utiliser Livy en tant que répertoire de points de montage du volume.

      Exemple

      [ec2-user ~]$ sudo mkdir /livy_jobs_log
      [ec2-user ~]$ sudo mount /dev/xvdg /livy_jobs_log
      [ec2-user ~]$ lsblk
      NAME    MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
      xvdg    202:96   0   1G  0 disk /livy_jobs_log
  4. Monter le volume depuis Livy vers l'instance EC2 :
    1. Modifiez le fichier docker-compose.yml situé dans le répertoire d'installation Remote Engine Gen2.
    2. Recherchez le service nommé livy et configurez le paramètre LIVY_JOB_LOG_PERSISTENCE_PATH avec la valeur /livy_jobs_log. La valeur par défaut est /tmp/livy/jobs.

      Exemple

      livy:
      	...
      	volumes:
      		...
      		- /livy_jobs_log:/tmp/livy/jobs:rw
    3. Redémarrez Livy en exécutant cette commande :
      docker-compose up -d livy