Accéder aux fichiers à partir de votre moteur - Cloud

Guide de démarrage rapide de Talend Remote Engine Gen2

EnrichVersion
Cloud
EnrichProdName
Talend Cloud
EnrichPlatform
Talend Management Console
Talend Pipeline Designer
task
Déploiement > Déploiement > Exécution de Pipelines
Installation et mise à niveau

Avant de commencer

Assurez-vous d'utiliser une version récente de docker-compose afin d'éviter des problèmes de volumes mal montés dans Livy.

Procédure

  1. Accédez au répertoire d'installation du Remote Engine Gen2.
  2. Créez un fichier et nommez-le :
    docker-compose.override.yml
  3. Modifiez ce fichier pour ajouter ce qui suit :
    version: '3.6'
    
    services: 
    
      livy: 
        volumes: 
    
      component-server: 
        volumes: 
  4. Ajoutez une nouvelle entrée sous volumes à l'aide de ce format :
    YOUR_LOCAL_FOLDER:MOUNT_POINT_INSIDE_CONTAINER

    Exemple

    Si vous avez certains fichiers dans /home/user/my_avro_files sur votre machine que vous souhaitez traiter avec Talend Cloud Pipeline Designer, vous devez ajouter /home/user/my_avro_files:/opt/my_avro_files à la liste des volumes :
    version: '3.6'
    
    services: 
    
      livy: 
        volumes: 
          - /home/user/my_avro_files:/opt/my_avro_files
    
      component-server: 
        volumes: 
          - /home/user/my_avro_files:/opt/my_avro_files
  5. Sauvegardez le fichier pour prendre en compte vos modifications.
  6. Redémarrez votre Remote Engine Gen2.
    Votre dossier doit être accessible à partir de l'application Talend Cloud Pipeline Designer sous /opt/my_avro_files.
  7. Connectez-vous à Talend Cloud Pipeline Designer.
  8. Allez dans la page CONNECTIONS et ajoutez une connexion à HDFS à l'aide de votre moteur distant et de votre nom d'utilisateur local.
  9. Ajoutez un jeu de données HDFS à l'aide de la nouvelle connexion et assurez-vous d'utiliser le chemin monté comme chemin d'accès à votre dossier.
  10. Facultatif : Pour écrire à nouveau sur votre machine locale, vous pouvez ajouter un autre jeu de données HDFS à l'aide du dossier monté, par exemple /opt/my_avro_files/my_pipeline_output.