クラスターの作成

Subscription

手順

Databricksアカウントにログインします。
[Create Cluster] (クラスターの作成)ウィザードを開きます。
基本設定に入力します。Talend Cloud Pipeline Designerに特有のフィールドはDatabricksランタイムバージョンのみです。ランタイム: 5.5 LTS (Scala 2.11、Spark 2.2.1)を選択してください。
[Advanced Options] (詳細オプション)セクションで
1. [Instances] (インスタンス)タブで、必要に応じてインスタンスを設定します。
2. [Spark]タブの[Spark config] (Spark設定)エリアに以下の行を貼り付けます。
```
spark.executor.extraJavaOptions -Dtalend.component.manager.m2.repository=/dbfs/DBFS_STAGING_DIRECTORY_NAME/connectors -Dtalend.spark.streaming.batch.interval=5000							
spark.driver.extraJavaOptions -Dtalend.component.manager.m2.repository=/dbfs/DBFS_STAGING_DIRECTORY_NAME/connectors -Dtalend.spark.streaming.batch.interval=5000
```
  DBFS_STAGING_DIRECTORY_NAMEにはDBFSステージングディレクトリーの名前が入ります。
  注: Talend Cloud Management Consoleで実行プロファイルを作成する時は、同じDBFSステージングディレクトリーを使用する必要があります。
3. [Tags] (タグ)タブでこのタグを追加し、クラスターがTalend Cloud Pipeline Designer用に作成されたことを示します:
  キー: TALEND_TPD_CLUSTER_TYPE
  値: TPD_COMPATIBLE_INTERACTIVE_CLUSTER_1.0
4. [Logging] (ロギング)タブに、クラスターログストレージディレクトリーへのパスを追加します。
  デスティネーション: DBFS
  クラスターログパス: dbfs:/DBFS_STAGING_DIRECTORY_NAME/cluster_logs
  
  DBFS_STAGING_DIRECTORY_NAMEにはDBFSステージングディレクトリーの名前が入ります。
  注: Talend Cloud Management Consoleで実行プロファイルを作成する時は、同じDBFSステージングディレクトリーを使用する必要があります。
5. [Init Scripts] (Initスクリプト)タブで、このDBFS初期化スクリプトを追加します。
  デスティネーション: DBFS
  Initスクリプトパス: dbfs:/DBFS_STAGING_DIRECTORY_NAME/scripts/databricks_spark_2.4.X_patches.sh
  DBFS_STAGING_DIRECTORY_NAMEにはDBFSステージングディレクトリーの名前が入ります。
  注:
  
  Talend Cloud Management Consoleで実行プロファイルを作成する時は、同じDBFSステージングディレクトリーを使用する必要があります。
  
  バージョンが5.5 LTSより前のDatabricksではステージングフォルダーを再利用できないため、該当するバージョンを使っていた場合は空の新しいDBFSフォルダーを使用する必要があります。
6. [Create cluster] (クラスターの作成)をクリックして作成操作を完了させます。

クラスターの作成 - Cloud

Talend Cloud Management Console for Pipelinesユーザーガイド

手順