Talend Studioでは、CDP Public Cloud Data Hub on AWSインスタンスを持つリモートのJobServerにSpark StreamingとSpark Batchジョブをデプロイして実行できます。
始める前に
- ジョブをリモートで実行できるよう、Talend StudioでJobServerの設定が正しく定義されていること。詳細は、リモート実行の設定([Talend] > [Run/Debug] (実行/デバッグ))を参照してください。
- AWSインスタンスの環境はCloudera Management Consoleで定義されます。詳細は、Clouderaの公式ドキュメンテーションで"Register an AWS environment" (AWS環境を登録)を参照してください。
- AWSでのクラスターはCloudera Management Consoleで定義されます。詳細は、Clouderaの公式ドキュメンテーションで"Create a custom cluster on AWS" (AWSでカスタムクラスターを作成)を参照してください。
手順
-
Cloudera Managementコンソールに接続し、[Data Hub Clusters] (データハブクラスター)タブの[Hardware] (ハードウェア)タブに移動します。
-
AWS Management Consoleに接続し、[VPC Management Console]からJobServerに設定した[Inbound rules] (インバウンドルール)タブと[Outbound rules] (アウトバウンドルール)タブのポートが開いていることを確認します。
-
[Cloudera Manager]に接続し、[Clusters] (クラスター)タブからクラスターの全設定ファイルをダウンロードして、すべてローカルマシンの同じパスに解凍します。
-
[Import configuration from local files] (ローカルファイルから設定をインポート)オプションを使い、Talend Studioに接続してHadoop接続を手動で設定します。詳細は、Hadoop接続を設定の3番目のステップをご覧ください。
注:- ドロップダウンリストで、どのClouderaバージョンも選択する必要がありません。Talend StudioがCDP Public Cloudのインスタンスクラスターから設定ファイルを使用するのと同じく、クラスターに定義されているランタイムバージョンが使用されます。
- SSLとKerberosを有効化する必要があります。