Accéder aux fichiers sur un cluster Hadoop à partir de votre moteur - Cloud

Guide de démarrage rapide de Talend Remote Engine Gen2

EnrichVersion
Cloud
EnrichProdName
Talend Cloud
EnrichPlatform
Talend Management Console
Talend Pipeline Designer
task
Déploiement > Déploiement > Exécution de Pipelines
Installation et mise à niveau

Avant de commencer

  • Assurez-vous d'utiliser une version récente de docker-compose afin d'éviter des problèmes de volumes mal montés.
  • Contactez votre administrateur système pour obtenir la liste complète des jeux de fichiers de configuration Hadoop (core-site.xml, hdfs-site.xml, etc.).
  • Placez ces fichiers de configuration Hadoop dans un dossier sur votre machine locale et copiez son chemin.

Procédure

  1. Accédez au répertoire d'installation du Remote Engine Gen2.
  2. Créez un fichier et nommez-le :
    docker-compose.override.yml
  3. Modifiez ce fichier pour ajouter ce qui suit :
    version: '3.6'
    
    services: 
    
      livy: 
        environment: 
          HADOOP_CONF_DIR: file:/opt/my-hadoop-cluster-config
        volumes: 
          - YOUR_LOCAL_HADOOP_CONFIGURATION_FOLDER:/opt/my-hadoop-cluster-config
       
      component-server: 
        environment: 
          HADOOP_CONF_DIR: file:/opt/my-hadoop-cluster-config
        volumes: 
          - YOUR_LOCAL_HADOOP_CONFIGURATION_FOLDER:/opt/my-hadoop-cluster-config

    YOUR_LOCAL_HADOOP_CONFIGURATION_FOLDER correspond au chemin d'accès au dossier local où sont stockés vos fichiers de configuration Hadoop.

  4. Sauvegardez le fichier pour prendre en compte vos modifications.
  5. Redémarrez votre Remote Engine Gen2.
  6. Connectez-vous à Talend Cloud Pipeline Designer.
  7. Allez dans la page CONNECTIONS et ajoutez une connexion à HDFS à l'aide de votre moteur distant et de votre nom d'utilisateur local.
  8. Ajoutez un jeu de données HDFS à l'aide de la nouvelle connexion et assurez-vous d'utiliser le chemin vers vos fichiers (par exemple hdfs://namenode:8020/user/talend/files).