AWSでCDP Public Cloud Data Hubを使ってSparkジョブを設定および実行
Studio Talendでは、CDP Public Cloud Data Hub on AWSインスタンスを持つリモートのJobServerにSpark StreamingとSpark Batchジョブをデプロイして実行できます。Talend JobServer
始める前に
- ジョブをリモートで実行できるよう、Studio TalendでTalend JobServerの設定が正しく定義されていること。詳細は、リモート実行を設定([Talend] > [Run/Debug] (実行/デバッグ))をご覧ください。
- AWSインスタンスの環境はCloudera Management Consoleで定義されます。詳細は、Clouderaの公式ドキュメンテーションで"Register an AWS environment" (AWS環境を登録)をご覧ください。
- AWSでのクラスターはCloudera Management Consoleで定義されます。詳細は、Clouderaの公式ドキュメンテーションで"Create a custom cluster on AWS" (AWSでカスタムクラスターを作成)をご覧ください。
手順
-
Cloudera Managementコンソールに接続し、[Data Hub Clusters] (データハブクラスター)タブの[Hardware] (ハードウェア)タブに移動します。
-
AWS Management Consoleに接続し、[VPC Management Console]からTalend JobServerに設定した[Inbound rules] (インバウンドルール)タブと[Outbound rules] (アウトバウンドルール)タブのポートが開いていることを確認します。
-
[Cloudera Manager]に接続し、[Clusters] (クラスター)タブからクラスターの全設定ファイルをダウンロードして、すべてローカルマシンの同じパスに解凍します。
-
[Import configuration from local files] (ローカルファイルから設定をインポート)オプションを使い、Studio Talendに接続してHadoop接続を手動で設定します。詳細は、Hadoop接続を設定の3番目のステップをご覧ください。
情報メモ注:- ドロップダウンリストで、どのClouderaバージョンも選択する必要がありません。Studio TalendがCDP Public Cloudのインスタンスクラスターから設定ファイルを使用するのと同じく、クラスターに定義されているランタイムバージョンが使用されます。
- SSLとKerberosを有効化する必要があります。
タスクの結果
このページは役に立ちましたか?
このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。