このドキュメントでは、Talend Cloud Pipeline Designerで使用できるDatabricksの対話型クラスターの作成方法について説明します。
ただし、マスター/ワーカーがクラスターの作成時は開始されクラスターのシャットダウン時はシャットダウンされるなど、対話型クラスターにはいくつか制限事項が存在します。そのため、最初のクラスター設定(Spark設定)をランタイム時に変更することはできません。
- 対話型クラスターは、次の詳しい手順に従って作成する必要があります。手順に従わずに作成されたクラスターにはパイプラインを送信できない場合があります。ステップを1つ省略するだけでランタイム時にエラーが発生することがあるため、細心の注意を払ってこの手順に従ってください。クラスターがTalend Cloud Pipeline Designerと互換性を持たない場合は、エラーメッセージが表示されます。
- 対話型クラスターは、Remote Engine Gen2の1バージョンにのみ関連付けられています。この要件は、前述のクラスターのマスター/ワーカーに関する制限事項に由来します。クラスターがRemote Engine Gen2のバージョンと互換性を持たない場合は、エラーメッセージが表示されます。
- 対話型クラスターは、クラスターの作成時に設定されたステージングディレクトリー1つにのみ関連付けられています。(実行プロファイルを通じて)別のステージングディレクトリーを使うことは考慮されません。この要件は、前述のクラスターのマスター/ワーカーに関する制限事項に由来します。(実行プロファイルから来ている)ステージングディレクトリーがクラスターの作成時に使用されたものと異なる場合は、ログに警告メッセージが表示されます。