Créer le cluster - Cloud

Guide d'utilisation de Talend Cloud Management Console for Pipelines

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
Administration et monitoring > Gestion des projets
Administration et monitoring > Gestion des utilisateurs
Déploiement > Déploiement > Exécution de Tâches
Déploiement > Ordonnancement > Ordonnancement de Tâches
EnrichPlatform
Talend Management Console

Procédure

  1. Connectez-vous à votre compte Databricks.
  2. Ouvrez l'assistant Create Cluster.
  3. Renseignez les paramètres simples. Le seul champ spécifique à Talend Cloud Pipeline Designer est Databricks Runtime Version, sélectionnez Runtime: 5.5 LTS (Scala 2.11, Spark 2.4.3).
  4. Dans la section des paramètres avancés Advanced Options :
    1. Dans l'onglet Instances, configurez vos instances selon vos besoins.
    2. Dans l'onglet Spark, collez ceci dans la zone Spark config :
      spark.executor.extraJavaOptions -Dtalend.component.manager.m2.repository=/dbfs/DBFS_STAGING_DIRECTORY_NAME/connectors -Dtalend.spark.streaming.batch.interval=5000							
      spark.driver.extraJavaOptions -Dtalend.component.manager.m2.repository=/dbfs/DBFS_STAGING_DIRECTORY_NAME/connectors -Dtalend.spark.streaming.batch.interval=5000
      DBFS_STAGING_DIRECTORY_NAME correspond au nom de votre répertoire staging DBFS.
      Remarque : Vous devez utiliser le même répertoire staging DBFS lorsque vous créez votre profil d'exécution dans Talend Cloud Management Console.
    3. Dans l'onglet Tags, ajoutez ce libellé pour indiquer que le cluster est créé pour Talend Cloud Pipeline Designer :
      Key : TALEND_TPD_CLUSTER_TYPE

      Value : TPD_COMPATIBLE_INTERACTIVE_CLUSTER_1.0

    4. Dans l'onglet Logging, ajoutez le chemin d'accès au répertoire de stockage des logs du cluster :
      Destination : DBFS

      Cluster Log Path : dbfs:/DBFS_STAGING_DIRECTORY_NAME/cluster_logs

      DBFS_STAGING_DIRECTORY_NAME correspond au nom de votre répertoire staging DBFS.
      Remarque : Vous devez utiliser le même répertoire staging DBFS lorsque vous créez votre profil d'exécution dans Talend Cloud Management Console.
    5. Dans l'onglet Init Scripts, ajoutez ce script d'initialisation DBFS :
      Destination : DBFS

      Init Script Path : dbfs:/DBFS_STAGING_DIRECTORY_NAME/scripts/databricks_spark_2.2.X_patches.sh

      DBFS_STAGING_DIRECTORY_NAME correspond au nom de votre répertoire staging DBFS.
      Remarque :
      • Vous devez utiliser le même répertoire staging DBFS lorsque vous créez votre profil d'exécution dans Talend Cloud Management Console.
      • Si vous avez utilisé des versions de Databricks antérieures à 5.5 LTS, vous devez utiliser un nouveau dossier staging vide dans DBFS car vous ne pouvez réutiliser le dossier staging de la version précédente de Databricks.
    6. Cliquez sur Create cluster afin de finaliser l'opération de création.