Ajouter dynamiquement la dernière plateforme Big Data - 7.1

Guide utilisateur de Talend Big Data Studio

author
Talend Documentation Team
EnrichVersion
7.1
EnrichProdName
Talend Big Data
task
Création et développement
EnrichPlatform
Studio Talend

Dans le Studio, si la plateforme Big Data que vous utilisez n'est pas supportée, suivez la procédure ci-dessous pour ajouter cette distribution et la rendre disponible dans le Studio.

Dans la version courante du Studio, vous pouvez utiliser cette procédure pour ajouter les distributions Cloudera et Hortonworks uniquement. Cette procédure utilise Cloudera pour montrer comment ajouter une distribution dynamique au Studio.

Avec cette fonctionnalité, vous aurez l'agilité et la flexibilité vous permettant d'utiliser une version Cloudera ou Hortonworks qui n'était pas disponible lors de la mise à jour de votre Studio Talend en ajoutant cette version vous-même en quelques clics.

Les distributions dynamiques ainsi ajoutées sont généralement des versions mineures d'une mise à jour majeure certifiée Talend de votre distribution. Talend dépend des déclarations de compatibilité des vendeurs pour assurer la compatibilité du Studio avec ces versions mineures et fournit donc un support officiel pour les cas d'utilisation pouvant être produits dans ces versions mineures ainsi que dans les versions certifiées Talend. Pour plus d'informations concernant les versions de distribution certifiées Talend et sur la politique générale de support des versions certifiées et compatibles de Talend, consultez Versions des distributions de plateformes Big Data supportées pour les Jobs Talend.
  • Les distributions dynamiques pour HDP 3.x et CDH 6.x sont disponibles en aperçu technique.

  • Sur la liste des versions de distribution, certaines versions ont un libellé Builtin. Ces versions ont été ajoutées par Talend via le mécanisme de distribution dynamique et livrées avec le Studio lors de sa mise à jour. Elles sont certifiées par Talend et sont donc officiellement supportées et prêtes à l'emploi.

Avant de commencer

Prérequis :
  • Vous utilisez l'une des solutions Talend avec Big Data.

Procédure

  1. Dans la perspective Integration, cliquez sur File > Edit project properties pour ouvrir la boîte de dialogue Project settings.
  2. Développez le nœud General et cliquez sur Dynamic distribution settings pour ouvrir cette vue.
  3. Dans la liste déroulante Distribution, sélectionnez Cloudera.
  4. Configurez votre référentiel Nexus local pour stocker les fichiers jar de distribution dynamique à télécharger.
    Même si elle n'est pas obligatoire, cette étape permet aux autres utilisateurs ou aux autres instances du Studio de télécharger ces fichiers .jar plus rapidement.
    1. Configurez un proxy sur votre référentiel Nexus local et liez ce proxy au proxy Talend dédié : https://talend-update.talend.com/nexus/content/groups/dynamicdistribution/.
      Les identifiants à utiliser pour vous connecter à ce proxy Talend sont les suivants :
      • Nom d'utilisateur : Studio-dl-client
      • Mot de passe : studio-dl-client

      Lorsque vous créez votre proxy local, vous devez définir les identifiants spécifiques à ce proxy local. Pour un exemple de création d'un proxy Nexux, consultez Proxy settings dans la documentation Nexus (en anglais).

    2. Dans la vue Dynamic distribution settings, cochez la case Override default setup pour activer le champ Repository.
    3. Dans le champ Repository, saisissez l'URL de votre proxy local et les identifiants définis pour ce proxy.
  5. Cliquez sur le bouton Dynamic distribution setup pour ouvrir l'assistant de configuration de la distribution dynamique.
  6. Sélectionnez le bouton radio Create new dynamic configuration, puis cliquez sur Refresh pour afficher, dans la liste déroulante Version, les versions de Cloudera disponibles dans le référentiel connecté Cloudera.
  7. Sélectionnez la version de Cloudera pour laquelle vous souhaitez générer la configuration à utiliser dans le Studio.
  8. Cliquez sur Finish.

    Le Studio commence à recevoir les fichiers de configuration pour cette distribution depuis le référentiel Cloudera. Cette récupération de fichiers peut prendre un moment.

    Cela fait, l'assistant [Dynamic distribution setup] se ferme automatiquement et vous renvoie à la vue Dynamic distribution settings. La nouvelle distribution dynamique générée pour la version précédemment sélectionnée s'affiche dans la liste Version.

  9. Vous pouvez répéter cette opération pour ajouter d'autres versions, si nécessaire. Sinon, cliquez sur OK pour fermer la boîte de dialogue Project settings.

Résultats

Vous pouvez utiliser cette nouvelle version de la même manière que les distributions fournies avec le Studio. Vous pouvez :
  • configurer la connexion à cette distribution dynamique dans le Repository et réutiliser cette connexion dans des Jobs Talend ;

  • utiliser directement cette distribution dynamique dans vos Jobs. Si vous construisez votre Job pour générer des fichiers exécutables dans une archive .zip et que vous devez exécuter ces fichiers exécutables sous Windows, n'utilisez pas le script .bat, utilisez le script .ps1.

Même s'il est habituellement possible d'exporter un Job avec ses dépendances, comme une connexion définie dans le Repository, la connexion à une distribution dynamique ne peut être exportée de la même manière. Si vous devez exporter une telle connexion, consultez Exporter ou importer la configuration d'une distribution de plateforme Big Data dynamique.