メイン コンテンツをスキップする

Spark設定ビューでSpark Universal接続詳細を定義

ジョブの[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、Spark Universal接続設定を完成させます。この設定はジョブごとに有効です。

Talend Studioによって、以下のいずれかのモードと環境のSpark UniversalディストリビューションでSparkジョブを実行できます:
モードまたは環境 説明
Cloudera Data Engineering Talend Studioがジョブを送信し、Clouderaデータエンジニアリングサービスからそのジョブの実行情報を収集します。

詳細については、Spark UniversalでCloudera Data Engineering接続パラメーターを定義をご覧ください。

Databricks Talend Studioがジョブを送信し、Databricksからそのジョブの実行情報を収集します。Sparkドライバーは、Databricksのジョブクラスター、およびGCP、AWS、AzureでのDatabricksの汎用クラスターで動作します。

詳細については、Spark UniversalでDatabricks接続パラメーターを定義をご覧ください。

Dataproc Talend Studioがジョブを送信し、Dataprocからそのジョブの実行情報を収集します。

詳細については、Spark UniversalでDataproc接続パラメーターを定義をご覧ください。

Kubernetes Talend Studioがジョブを送信し、Kubernetesからそのジョブの実行情報を収集します。SparkドライバーがKubernetesによって管理されるクラスター上で実行され、Talend Studioから独立して実行できます。

詳細については、Spark UniversalでKubernetes接続パラメーターを定義をご覧ください。

[Local] (ローカル) Talend Studioは実行時にSpark環境自体をビルドし、Talend Studio内でジョブをローカルに実行します。このモードでは、ローカルマシンの各プロセッサーがSparkワーカーとして使用されて計算を行います。

詳細については、Spark Universalでローカル接続パラメーターを定義をご覧ください。

Spark-submitスクリプト Talend Studioがジョブを送信し、お使いのクラスター(通常はHRE Data Fabricクラスター)のYarnおよびApplicationMasterからそのジョブの実行情報を収集します。Sparkドライバーがクラスター上で実行され、Talend Studioから独立して実行できます。

詳細は、Spark UniversalでSpark-submitスクリプト接続パラメーターを定義をご覧ください。

[Standalone] (スタンドアロン) Talend StudioはSparkが有効になったクラスターに接続し、そのクラスターからジョブを実行します。

詳細については、Spark Universalでスタンドアロン接続パラメーターを定義をご覧ください。

Synapse Talend Studioがジョブを送信し、Azure Synapse Analyticsからそのジョブの実行情報を収集します。

詳細は、Spark UniversalでAzure Synapse Analytics接続パラメーターを定義をご覧ください。

[Yarn cluster] (Yarnクラスター) Talend Studioがジョブを送信し、YarnおよびApplicationMasterからそのジョブの実行情報を収集します。Sparkドライバーがクラスター上で実行され、Talend Studioから独立して実行できます。

詳細については、Spark UniversalでYarnクラスター接続パラメーターを定義をご覧ください。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。