Talend Cloud Pipeline Designerと互換性があるDatabricksクラスターの作成 - Cloud

Talend Cloud Management Console for Pipelinesユーザーガイド

EnrichVersion
Cloud
EnrichProdName
Talend Cloud
EnrichPlatform
Talend Management Console
task
デプロイメント > スケジューリング > タスクのスケジューリング
デプロイメント > デプロイ中 > タスクの実行
管理と監視 > プロジェクトの管理
管理と監視 > ユーザーの管理
このドキュメントでは、Talend Cloud Pipeline Designerで使用できるDatabricksの対話型クラスターの作成方法について説明します。

ただし、マスター/ワーカーがクラスターの作成時は開始されクラスターのシャットダウン時はシャットダウンされるなど、対話型クラスターにはいくつか制限事項が存在します。そのため、最初のクラスター設定(Spark設定)をランタイム時に変更することはできません。

  • 対話型クラスターは、次の詳しい手順に従って作成する必要があります。手順に従わずに作成されたクラスターにはパイプラインを送信できない場合があります。ステップを1つ省略するだけでランタイム時にエラーが発生することがあるため、細心の注意を払ってこの手順に従ってください。クラスターがTalend Cloud Pipeline Designerと互換性を持たない場合は、エラーメッセージが表示されます。
  • 対話型クラスターは、Remote Engine Gen2の1バージョンにのみ関連付けられています。この要件は、前述のクラスターのマスター/ワーカーに関する制限事項に由来します。クラスターがRemote Engine Gen2のバージョンと互換性を持たない場合は、エラーメッセージが表示されます。
  • 対話型クラスターは、クラスターの作成時に設定されたステージングディレクトリー1つにのみ関連付けられています。(実行プロファイルを通じて)別のステージングディレクトリーを使うことは考慮されません。この要件は、前述のクラスターのマスター/ワーカーに関する制限事項に由来します。(実行プロファイルから来ている)ステージングディレクトリーがクラスターの作成時に使用されたものと異なる場合は、ログに警告メッセージが表示されます。