クラスターの作成 - Cloud

Talend Cloud Management Console for Pipelinesユーザーガイド

EnrichVersion
Cloud
EnrichProdName
Talend Cloud
EnrichPlatform
Talend Management Console
task
デプロイメント > スケジューリング > タスクのスケジューリング
デプロイメント > デプロイ中 > タスクの実行
管理と監視 > プロジェクトの管理
管理と監視 > ユーザーの管理

手順

  1. Databricksアカウントにログインします。
  2. [Create Cluster] (クラスターの作成)ウィザードを開きます。
  3. 基本設定に入力します。Talend Cloud Pipeline Designerに特有のフィールドはDatabricksランタイムバージョンのみです。ランタイム: 5.5 LTS (Scala 2.11、Spark 2.2.1)を選択してください。
  4. [Advanced Options] (詳細オプション)セクションで
    1. [Instances] (インスタンス)タブで、必要に応じてインスタンスを設定します。
    2. [Spark]タブの[Spark config] (Spark設定)エリアに以下の行を貼り付けます。
      spark.executor.extraJavaOptions -Dtalend.component.manager.m2.repository=/dbfs/DBFS_STAGING_DIRECTORY_NAME/connectors -Dtalend.spark.streaming.batch.interval=5000							
      spark.driver.extraJavaOptions -Dtalend.component.manager.m2.repository=/dbfs/DBFS_STAGING_DIRECTORY_NAME/connectors -Dtalend.spark.streaming.batch.interval=5000
      DBFS_STAGING_DIRECTORY_NAMEにはDBFSステージングディレクトリーの名前が入ります。
      注: Talend Cloud Management Consoleで実行プロファイルを作成する時は、同じDBFSステージングディレクトリーを使用する必要があります。
    3. [Tags] (タグ)タブでこのタグを追加し、クラスターがTalend Cloud Pipeline Designer用に作成されたことを示します:
      キー: TALEND_TPD_CLUSTER_TYPE

      : TPD_COMPATIBLE_INTERACTIVE_CLUSTER_1.0

    4. [Logging] (ロギング)タブに、クラスターログストレージディレクトリーへのパスを追加します。
      デスティネーション: DBFS

      クラスターログパス: dbfs:/DBFS_STAGING_DIRECTORY_NAME/cluster_logs

      DBFS_STAGING_DIRECTORY_NAMEにはDBFSステージングディレクトリーの名前が入ります。
      注: Talend Cloud Management Consoleで実行プロファイルを作成する時は、同じDBFSステージングディレクトリーを使用する必要があります。
    5. [Init Scripts] (Initスクリプト)タブで、このDBFS初期化スクリプトを追加します。
      デスティネーション: DBFS

      Initスクリプトパス: dbfs:/DBFS_STAGING_DIRECTORY_NAME/scripts/databricks_spark_2.4.X_patches.sh

      DBFS_STAGING_DIRECTORY_NAMEにはDBFSステージングディレクトリーの名前が入ります。
      注:
      • Talend Cloud Management Consoleで実行プロファイルを作成する時は、同じDBFSステージングディレクトリーを使用する必要があります。
      • バージョンが5.5 LTSより前のDatabricksではステージングフォルダーを再利用できないため、該当するバージョンを使っていた場合は空の新しいDBFSフォルダーを使用する必要があります。
    6. [Create cluster] (クラスターの作成)をクリックして作成操作を完了させます。