Talend Studioでは、YARNクラスターモードのCDP Public Cloud Data HubインスタンスでKnoxを使ってSpark StreamingジョブとSpark Batchジョブを認証できます。Knoxの接続パラメーターは、ジョブの[Run] (実行)ビューの[Spark configuration] (Spark設定)タブか、[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードで完成させることができます。この設定はジョブごとに有効です。
このシナリオでは、[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードによる設定が使用されます。[Repository] (リポジトリー)でKnoxへの接続を設定すると、Sparkジョブの[Spark configuration] (Spark設定)ビューで必要になるたびにその接続を設定しなくても済みます。
[Run] (実行)ビューの[Spark configuration] (Spark設定)タブによる設定の詳細は、[Defining the Cloudera connection parameters] (Cloudera 接続パラメーターを定義)をご覧ください。
このセクションの情報は、Talend Data Fabric またはビッグデータ対応のTalend製品のいずれかにサブスクライブしているユーザーだけを対象とします。また、Talend Open Studio for Big Dataユーザーは対象外です。
手順
-
[Use Knox] (Knoxを使用)チェックボックスを選択し、Knox関連の接続パラメーターを入力します。
- [Knox URL]:
https://<host>/<datahub>/cdp-proxy-apiという形式に従って、Knox URLを入力します。Knox URLは、Livyサーバーの下にあるData Hubの[Endpoints] (エンドポイント)セクションのCloudera Management Consoleにあります。重要: R2021-07以前のパッチをインストール済みの場合、URLの末尾には、/livyも、またはcdp-proxy-apiの後にいかなるサフィックスも含まれないようにする必要があります。R2021-08以降のパッチをインストール済みの場合、URLは末尾に/livyがあってもなくても動作します。
- [Knox user] (Knoxユーザー): Cloudera Management ConsoleからのWorkloadユーザー名を入力します。
- [Knox password] (Knoxパスワード): Cloudera Management ConsoleからのWorkloadパスワードを入力します。
- Knox directory: type in the location storing the loaded file in HDFS.2514-
- [Knox session timeout] (Knoxセッションのタイムアウト): Knox経由でジョブがクラスターに再接続するまでの待ち時間を指定します。
- [Knox URL]: