Utiliser l'assistant de clone de cluster Databricks (recommandé) - Cloud

Guide d'utilisation de Talend Cloud Management Console for Pipelines

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
Administration et monitoring > Gestion des projets
Administration et monitoring > Gestion des utilisateurs
Déploiement > Déploiement > Exécution de Tâches
Déploiement > Ordonnancement > Ordonnancement de Tâches
EnrichPlatform
Talend Management Console

Cloner un cluster existant est le moyen recommandé de créer un cluster Databricks interactif compatible avec Talend Cloud Pipeline Designer.

Procédure

  1. Connectez-vous à Talend Cloud Pipeline Designer et exécutez un pipeline à l'aide d'un profil d'exécution Databricks configuré avec l'option New Cluster dans Talend Cloud Management Console.
    Remarque : Cette option crée un cluster, exécute le pipeline et arrête le cluster. Pour éviter de créer de zéro un cluster supporté, ce cluster peut être cloné.
  2. Connectez-vous à votre compte Databricks et sélectionnez le dernier cluster arrêté dans la liste Automated Cluster.
  3. Cliquez sur l'icône Clone dans la colonne Actions pour ouvrir l'assistant de clone.
    1. Modifiez la configuration du cluster selon vos besoins mais assurez-vous de conserver la configuration avancée.
    2. Dans l'onglet Tags de la section des paramètres avancés, ajoutez le libellé suivant afin d'indiquer que le cluster est créé pour Talend Cloud Pipeline Designer :
      Key : TALEND_TPD_CLUSTER_TYPE

      Value : TPD_COMPATIBLE_INTERACTIVE_CLUSTER_1.0

    3. Cliquez sur Create cluster afin de finaliser l'opération de création.