Avant de commencer
Assurez-vous d'utiliser une version récente de docker-compose afin d'éviter des problèmes de volumes mal montés dans Livy.
Procédure
-
Accédez au dossier suivant dans le répertoire d'installation du Moteur distant Gen2.
default si vous utilisez le moteur dans les régions AWS USA, AWS Europe, AWS Asie-Pacifique ou Azure.
eap si vous utilisez le moteur au sein du programme Early Adopter Program.
-
Créez un fichier et nommez-le :
docker-compose.override.yml
-
Modifiez ce fichier pour ajouter ce qui suit :
version: '3.6'
services:
livy:
volumes:
component-server:
volumes:
-
Ajoutez une nouvelle entrée sous volumes à l'aide de ce format :
YOUR_LOCAL_FOLDER:MOUNT_POINT_INSIDE_CONTAINER
Exemple
Si vous avez certains fichiers dans
/home/user/my_avro_files sur votre machine que vous souhaitez traiter avec
Talend Cloud Pipeline Designer, vous devez ajouter
/home/user/my_avro_files:/opt/my_avro_files à la liste des volumes :
version: '3.6'
services:
livy:
volumes:
- /home/user/my_avro_files:/opt/my_avro_files
component-server:
volumes:
- /home/user/my_avro_files:/opt/my_avro_files
-
Sauvegardez le fichier pour prendre en compte vos modifications.
-
Redémarrez votre Moteur distant Gen2.
Votre dossier doit être accessible à partir de l'application Talend Cloud Pipeline Designer sous /opt/my_avro_files.
-
Connectez-vous à Talend Cloud Pipeline Designer.
-
Allez à la page Connections (Connexions) et ajoutez une connexion à HDFS à l'aide de votre moteur et de votre nom d'utilisateur ou d'utilisatrice local.
-
Ajoutez un jeu de données HDFS à l'aide de la nouvelle connexion et assurez-vous d'utiliser le chemin monté comme chemin d'accès à votre dossier.
- Facultatif :
Pour écrire à nouveau sur votre machine locale, vous pouvez ajouter un autre jeu de données HDFS à l'aide du dossier monté, par exemple /opt/my_avro_files/my_pipeline_output.
