Ajouter dynamiquement la dernière distribution Hadoop (aperçu technique) - 7.0

Guide utilisateur de Talend Big Data Platform Studio

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data Platform
task
Création et développement
EnrichPlatform
Studio Talend

Dans le Studio, si la distribution Hadoop que vous utilisez n'est pas disponible, suivez la procédure ci-dessous pour ajouter cette distribution et la rendre compatible avec le Studio.

Sur la liste des versions de distribution, certaines versions ont un libellé Builtin. Ces versions ont été ajoutées par Talend via le mécanisme de distribution dynamique et livrées avec le Studio lors de sa mise à jour. Elles sont certifiées par Talend et sont donc officiellement supportées et prêtes à l'emploi.

Dans la version courante du Studio, vous pouvez utiliser cette procédure pour ajouter les distributions Cloudera uniquement.

Avant de commencer

Prérequis :
  • Vous utilisez l'une des solutions Talend avec Big Data.

  • La version de votre Studio doit être au minimum 7.0.

Procédure

  1. Dans la perspective Integration, cliquez sur File > Edit project properties pour ouvrir la boîte de dialogue Project settings.
  2. Développez le nœud General et cliquez sur Dynamic distribution settings pour ouvrir cette vue.
  3. Dans la liste déroulante Distribution, sélectionnez Cloudera.
  4. Configurez votre référentiel Nexus local pour stocker les fichiers jar de distribution dynamique à télécharger.
    Même si elle n'est pas obligatoire, cette étape permet aux autres utilisateurs ou aux autres instances du Studio de télécharger ces fichiers .jar plus rapidement.
    1. Configurez un proxy sur votre référentiel Nexus local et liez ce proxy au proxy Talend dédié : https://talend-update.talend.com/nexus/content/groups/dynamicdistribution/.
      Les identifiants à utiliser pour vous connecter à ce proxy Talend sont les suivants :
      • Nom d'utilisateur : Studio-dl-client
      • Mot de passe : Studio-dl-client

      Lorsque vous créez votre proxy local, vous devez définir les identifiants spécifiques à ce proxy local. Pour un exemple de création d'un proxy Nexux, consultez Proxy settings dans la documentation Nexus (en anglais).

    2. Dans la vue Dynamic distribution settings, cochez la case Override default setup pour activer le champ Repository.
    3. Dans le champ Repository, saisissez l'URL de votre proxy local et les identifiants définis pour ce proxy.
  5. Cliquez sur le bouton Dynamic distribution setup pour ouvrir l'assistant de configuration de la distribution dynamique.
  6. Sélectionnez le bouton radio Create new dynamic configuration, puis cliquez sur Refresh pour afficher, dans la liste déroulante Version, les versions de Cloudera disponibles dans le référentiel connecté Cloudera.
  7. Sélectionnez la version de Cloudera pour laquelle vous souhaitez générer la configuration à utiliser dans le Studio.
  8. Cliquez sur Finish.

    Le Studio commence à recevoir les fichiers de configuration pour cette distribution depuis le référentiel Cloudera. Cette récupération de fichiers peut prendre un moment.

    Cela fait, l'assistant [Dynamic distribution setup] se ferme automatiquement et vous renvoie à la vue Dynamic distribution settings. La nouvelle distribution dynamique générée pour la version précédemment sélectionnée s'affiche dans la liste Version.

  9. Vous pouvez répéter cette opération pour ajouter d'autres versions, si nécessaire. Sinon, cliquez sur OK pour fermer la boîte de dialogue Project settings.

Résultats

Vous pouvez utiliser cette nouvelle version de la même manière que les distributions Hadoop fournies avec le Studio. Vous pouvez :
  • configurer la connexion à cette distribution dynamique dans le Repository et réutiliser cette connexion dans des Jobs Talend ;

  • utiliser directement cette distribution dynamique dans vos Jobs. Si vous construisez votre Job pour générer des fichiers exécutables dans une archive .zip et que vous devez exécuter ces fichiers exécutables sous Windows, n'utilisez pas le script .bat, utilisez le script .ps1.

Même s'il est habituellement possible d'exporter un Job avec ses dépendances, comme une connexion définie dans le Repository, la connexion à une distribution dynamique ne peut être exportée de la même manière. Si vous devez exporter une telle connexion, consultez Exporter ou importer la configuration d'une distribution Hadoop dynamique (aperçu technique).