Créer un cluster Databricks compatible avec Talend Cloud Pipeline Designer - Cloud

Guide d'utilisation de Talend Cloud Management Console for Pipelines

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
Administration et monitoring > Gestion des projets
Administration et monitoring > Gestion des utilisateurs
Déploiement > Déploiement > Exécution de Tâches
Déploiement > Ordonnancement > Ordonnancement de Tâches
EnrichPlatform
Talend Management Console
Ce document décrit comment créer un cluster interactif Databricks pouvant être utilisé avec Talend Cloud Pipeline Designer.

Les clusters interactifs ont certaines limitations, notamment le fait que les master/workers sont démarrés lors de la création du cluster et arrêtés lors de l'arrêt du cluster. Cela signifie que la configuration initiale du cluster (configuration Spark) ne peut être modifiée lors de l'exécution.

  • Les clusters interactifs doivent être créés en suivant cette procédure détaillée, ou vous risquez de ne pas pouvoir soumettre vos pipelines au cluster créé. Cette procédure doit être suivie avec précision, car toute étape manquée peut conduire à des erreurs inattendues lors de l'exécution. Un message d'erreur vous informe si votre cluster n'est pas compatible avec Talend Cloud Pipeline Designer.
  • Les clusters interactifs sont liés à une version unique de Remote Engine Gen2. Ce prérequis provient de la limitation liée aux master et workers du cluster. Un message d'erreur vous informe si votre cluster n'est pas compatible avec votre version de Remote Engine Gen2.
  • Les clusters interactifs sont liés à un répertoire staging, celui configuré lors de la création du cluster. L'utilisation d'un répertoire staging différent (via les profils d'exécution) n'est pas prise en compte. Ce prérequis provient de la limitation liée aux master et workers du cluster. Un message d'avertissement dans les logs vous informe si votre répertoire staging (provenant de votre profil d'exécution) est différent de celui utilisé durant la création du cluster.