AWSでCDP Public Cloud Data Hubを使ってSparkジョブを設定および実行
Studio Talendでは、CDP Public Cloud Data Hub on AWSインスタンスを持つリモートのJobServerにSpark StreamingとSpark Batchジョブをデプロイして実行できます。
始める前に
- ジョブをリモートで実行できるよう、Studio TalendでJobServerの設定が正しく定義されていること。詳細は、リモート実行を設定([Talend] > [Run/Debug] (実行/デバッグ))をご覧ください。
- AWSインスタンスの環境はCloudera Management Consoleで定義されます。詳細は、Clouderaの公式ドキュメンテーションで"Register an AWS environment" (AWS環境を登録)をご覧ください。
- AWSでのクラスターはCloudera Management Consoleで定義されます。詳細は、Clouderaの公式ドキュメンテーションで"Create a custom cluster on AWS" (AWSでカスタムクラスターを作成)をご覧ください。
手順
タスクの結果
このページは役に立ちましたか?
このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。