Connexion à une distribution Hadoop personnalisée - 7.0

Guide utilisateur de Talend Big Data Platform Studio

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data Platform
task
Création et développement
EnrichPlatform
Studio Talend

Lorsque vous sélectionnez l'option Custom sélectionnée dans la liste Distribution, vous vous connectez à une distribution Hadoop différente de celles fournies dans la liste Distribution dans le Studio.

Pourquoi et quand exécuter cette tâche

Une fois l'option Custom sélectionnée, cliquez sur le bouton pour afficher la boîte de dialogue [Import custom definition], puis procédez comme suit :

Notez que les versions personnalisées ne sont pas officiellement supportées par Talend . Talend et sa Communauté fournissent l'opportunité de vous connecter à des versions personnalisées depuis le Studio mais ne peuvent garantir que la configuration de la version choisie sera simple, car de nombreuses versions et distributions d'Hadoop différentes sont disponibles. Il est recommandé de configurer une telle connexion uniquement si vos connaissances relatives à Hadoop sont suffisantes pour réparer les problèmes par vous-même.

Procédure

  1. Selon votre cas, sélectionnez Import from existing version ou Import from zip afin de configurer la distribution Hadoop personnalisée à laquelle vous souhaitez vous connecter.
    • Si vous avez le fichier .zip de configuration de la distribution Hadoop à laquelle vous souhaitez vous connecter, sélectionnez Import from zip. Dans Talend Exchange, les membres de la communauté Talend ont partagé quelques fichiers zip de configuration prêts à l'emploi que vous pouvez télécharger depuis cette liste Hadoop configuration et utiliser directement dans votre connexion. Cependant, comme les différents projets relatifs à Hadoop ne cessent d'évoluer, il est possible que vous ne trouviez pas dans la liste le zip de configuration correspondant à votre distribution. Il est alors recommandé d'utiliser l'option Import from existing version, afin de se baser sur une distribution existante pour ajouter les .jars requis par votre distribution.

      Les fichiers .zip sont des fichiers de configuration et ne peuvent être installés directement depuis Talend Exchange. Pour plus d'information concernant Talend Exchange, consultez Préférence Exchange (Talend > Exchange).

    • Sinon, sélectionnez Import from existing version pour importer une distribution de base officiellement supportée afin de la personnaliser à l'aide de l'assistant suivant. Adopter cette approche nécessite des connaissances relatives à la configuration de la distribution Hadoop à utiliser.

    Notez que les cases de cet assistant vous permettent de sélectionner le(s) élément(s) Hadoop que vous souhaitez importer. Selon le contexte dans lequel vous créez la connection, toutes les cases ne sont pas disponibles. Par exemple, si vous créez cette connexion pour Oozie, seule la case Oozie est disponible.
  2. Que vous ayez sélectionné Import from existing version ou Import from zip, vérifiez que chaque case à côté de l'élément Hadoop que vous souhaitez importer est cochée.
  3. Cliquez sur OK et, dans la fenêtre d'avertissement, cliquez sur Yes pour accepter d'écraser toute configuration personnalisée des fichiers Jar précédemment implémentée.
    La boîte de dialogue [Custom Hadoop version definition] devient active.
    Cette boîte de dialogue liste les éléments Hadoop et les fichiers Jar que vous importez.
  4. Si vous avez sélectionné l'option Import from zip, cliquez sur OK afin de valider la configuration importée.
    Si avez sélectionné l'option Import from existing version, afin d'importer une distribution de base, vous devez également importer des fichiers jar pour personnaliser cette distribution. Dans l'onglet de l'élément Hadoop que vous souhaitez personnaliser, par exemple l'onglet HDFS/HCatalog/Oozie, cliquez sur le bouton [+] pour ouvrir la boîte de dialogue [Select libraries].
  5. Sélectionnez l'option External libraries pour ouvrir sa vue.
  6. Cliquez sur le bouton Browse... et parcourez votre système jusqu'au fichier Jar que vous souhaitez importer.
  7. Cliquez sur OK pour valider les modifications et fermer la boîte de dialogue Select libraries.
    Le fichier Jar sélectionné apparaît dans la liste de l'onglet de l'élément Hadoop configuré.
    Notez que si vous souhaitez partager la configuration personnalisée Hadoop avec un autre Studio, vous pouvez exporter cette connexion personnalisée de la boîte de dialogue [Custom Hadoop version definition] en cliquant sur le bouton .
  8. Dans la boîte de dialogue Custom Hadoop version definition, cliquez sur OK afin de valider la configuration personnalisée. Vous retournez à la vue de configuration dans laquelle vous avez sélectionné l'option Custom.

Résultats

Une fois la configuration de la distribution Hadoop personnalisée terminée vous pouvez, depuis la vue de configuration de la connexion Hadoop, continuer de saisir d'autres paramètres requis pour la connexion.

Si la distribution Hadoop personnalisée à laquelle vous souhaitez vous connecter contient YARN, cochez la case Use YARN à côté de la liste Distribution.

Une vidéo est disponible à l'adresse suivante, pour expliquer, en prenant l'exemple de HDFS, comment configurer une connexion vers un cluster Hadoop personnalisé, également appelé distribution Hadoop non supportée : How to add an unsupported Hadoop distribution to the Studio (en anglais).