Spark設定ビューでSpark Universal接続詳細を定義 - Cloud

Talend Cloud Big Data Studio ユーザーガイド

Version
Cloud
Language
日本語 (日本)
EnrichDitaval
Big Data
Product
Talend Cloud
Module
Talend Studio
Content
ジョブデザインと開発

ジョブの[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、Spark Universal接続設定を完成させます。この構成はジョブごとに有効です。

このセクションの情報は、Talend Data Fabric またはビッグデータ対応のTalend製品のいずれかにサブスクライブしているユーザーだけを対象とします。また、Talend Open Studio for Big Dataユーザーは対象外です。

Talend Studioによって、以下のいずれかのモードと環境のSpark UniversalディストリビューションでSparkジョブを実行できます:
Cloudera Data Engineering Studioがジョブを送信し、Cloudera Data Engineeringサービスからそのジョブの実行情報を収集します。

詳細については、Spark UniversalでCloudera Data Engineering接続パラメーターを定義をご覧ください。

Databricks Studioがジョブを送信し、Databricksからそのジョブの実行情報を収集します。Sparkドライバーは、Databricksの一時クラスターまたはGCP(テクニカルプレビュー)、AWS、Azure上のDatabricksの対話型クラスターで動作します。

詳細については、Spark UniversalでDatabricks接続パラメーターを定義をご覧ください。

Dataproc Studioがジョブを送信し、Dataprocからそのジョブの実行情報を収集します。

詳細については、Spark UniversalでDataproc接続パラメーターを定義をご覧ください。

Kubernetes Studioがジョブを送信し、Kubernetesからそのジョブの実行情報を収集します。SparkドライバーがKubernetesによって管理されるクラスター上で実行され、Studioから独立して実行できます。

詳細については、Spark UniversalでKubernetes接続パラメーターを定義をご覧ください。

[Local] (ローカル) Studioは、Studio内でジョブをローカルに実行できるよう、ランタイム時にSpark環境自体をビルドします。このモードでは、ローカルマシンの各プロセッサーがSparkワーカーとして使用されて計算を行います。

詳細については、Spark Universalでローカル接続パラメーターを定義をご覧ください。

[Standalone] (スタンドアロン) StudioはSparkが有効になったクラスターに接続し、そのクラスターからジョブを実行します。

詳細については、Spark Universalでスタンドアロン接続パラメーターを定義をご覧ください。

[Yarn cluster] (Yarnクラスター) Studioがジョブを送信し、YarnおよびApplicationMasterからそのジョブの実行情報を収集します。Sparkドライバーがクラスター上で実行され、Studioから独立して実行できます。

詳細については、Spark UniversalでYarnクラスター接続パラメーターを定義をご覧ください。