Connexion à une distribution Hadoop personnalisée - 7.3

Distribution Amazon EMR
Version
7.3
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Création de Jobs > Distributions Hadoop > Amazon EMR
Last publication date
2024-02-22

Comme expliqué dans le tableau des propriétés, lorsque vous sélectionnez l'option Custom dans la liste déroulante Distribution, vous pouvez vous connecter à une distribution qui n'est pas dans la liste Distribution du Studio.

Une fois l'option Custom sélectionnée, cliquez sur le bouton pour afficher la boîte de dialogue Import custom definition, puis procédez comme suit :

Procédure

  1. Selon votre cas, sélectionnez Import from existing version ou Import from zip afin de configurer la distribution Hadoop personnalisée à laquelle vous souhaitez vous connecter.

    • Si vous avez le fichier .zip de la distribution Hadoop à laquelle vous souhaitez vous connecter, sélectionnez Import from zip. La communauté Talend fournit ce type de fichiers .zip que vous pouvez télécharger depuis http://www.talendforge.org/exchange/index.php.

    • Sinon, sélectionnez Import from existing version pour importer une distribution Hadoop de base officiellement supportée afin de la personnaliser en suivant les instructions de l'assistant.

    Notez que les cases de cet assistant vous permettent de sélectionner l'(les) élément(s) Hadoop que vous souhaitez importer. Selon le contexte dans lequel vous créez la connexion, toutes les cases ne sont pas disponibles. Par exemple, si vous créez cette connexion pour un composant Hive, seule la case Hive est disponible.
  2. Que vous ayez sélectionné Import from existing version ou Import from zip, vérifiez que chaque case à côté de l'élément Hadoop que vous souhaitez importer est cochée.
  3. Cliquez sur OK et, dans la fenêtre d'avertissement, cliquez sur Yes pour accepter d'écraser toute configuration personnalisée des fichiers Jar précédemment implémentée.
    La boîte de dialogue Custom Hadoop version definition devient active.
    Cette boîte de dialogue liste les éléments Hadoop et les fichiers Jar que vous importez.
  4. Si vous avez sélectionné l'option Import from zip, cliquez sur OK afin de valider la configuration importée.
    Si avez sélectionné l'option Import from existing version, afin d'importer une distribution de base, vous devez également importer des fichiers jar pour personnaliser cette distribution. Dans l'onglet de l'élément Hadoop que vous souhaitez personnaliser, par exemple l'onglet HDFS/HCatalog, cliquez sur le bouton [+] pour ouvrir la boîte de dialogue Select libraries.
  5. Sélectionnez l'option External libraries pour ouvrir sa vue.
  6. Parcourez votre système jusqu'au fichier Jar que vous souhaitez importer.
  7. Cliquez sur OK pour valider les modifications et fermer la boîte de dialogue Select libraries.
    Le fichier Jar sélectionné s’affiche dans la liste de l'onglet de l'élément Hadoop configuré.
    Notez que si vous souhaitez partager la configuration personnalisée Hadoop avec un autre Studio, vous pouvez exporter cette connexion personnalisée de la boîte de dialogue Custom Hadoop version definition en cliquant sur le bouton.
  8. Dans la boîte de dialogue Custom Hadoop version definition, cliquez sur OK afin de valider la configuration personnalisée. et retourner à la liste Distribution de la vue Basic settings du composant.

Résultats

Une fois la configuration de la distribution Hadoop personnalisée terminée vous pouvez, depuis la vue Distribution, continuer de saisir d'autres paramètres requis pour la connexion.

Si la distribution Hadoop personnalisée à laquelle vous souhaitez vous connecter contient YARN, cochez la case Use YARN à côté de la liste Distribution.

Une vidéo est disponible à l'adresse suivante, pour expliquer, en prenant l'exemple de HDFS, comment configurer une connexion à un cluster Hadoop personnalisé, ou distribution Hadoop non supportée : How to add an unsupported Hadoop distribution to the Studio (en anglais).