メイン コンテンツをスキップする 補完的コンテンツへスキップ

Spark Universalを使ってジョブを実行

Spark Universalは、Talend Studioと特定のSparkバージョンの全ビッグデータディストリビューションの互換性があるようにできるメカニズムです。Sparkバージョンを選択して、クラスターへの接続に必要な情報がすべて含まれているHadoop設定JARファイルをアップロードします。

Talend StudioでSpark Universalを使用する場合は、Scala 2.12のみがサポートされます。

Spark Universalのモードと環境をサポート

Talend Studioは、Sparkのバージョンに応じて、次のモードおよび環境をサポートしています。
モードまたは環境 Spark 2.4.x Spark 3.0.x Spark 3.1.x Spark 3.2.x Spark 3.3.x Spark 3.4.x Spark 3.5.x
[Local mode] (ローカルモード) サポート サポート サポート サポート サポート サポート サポート
[Standalone] (スタンドアロン) サポート対象外 サポート対象外 サポート対象外 サポート サポート対象外 サポート サポート対象外
[Yarn cluster mode] (Yarnクラスターモード) サポート サポート サポート サポート サポート サポート対象外 サポート対象外
Databricks サポート対象外 サポート対象外 サポート サポート サポート サポート サポート対象外
Dataproc サポート対象外 サポート対象外 サポート サポート サポート サポート対象外 サポート対象外
Cloudera Data Engineering サポート対象外 サポート対象外 サポート サポート サポート対象外 サポート対象外 サポート対象外
Kubernetes サポート対象外 サポート対象外 サポート サポート対象外 サポート対象外 サポート対象外 サポート対象外
Spark-submitスクリプト サポート対象外 サポート対象外 サポート対象外 サポート対象外 サポート サポート対象外 サポート対象外
Synapse サポート対象外 サポート対象外 サポート対象外 サポート サポート サポート対象外 サポート対象外
HDInsight サポート対象外 サポート対象外 サポート サポート対象外 サポート対象外 サポート対象外 サポート対象外
EMR Serverless サポート対象外 サポート対象外 サポート対象外 サポート サポート サポート対象外 サポート対象外
情報メモ注:
  • Spark Universal 3.2.xと3.3.xによるAzure Synapse Analyticsの使用は、Spark Batchジョブのみでのサポートとなっています。
  • Spark Universal 3.3.xによるSpark-submitスクリプトはSpark Batchジョブでのみサポートされています。

Spark Universalディストリビューションをサポート

Talend Studioは、Sparkのバージョンに応じて、Yarnクラスターモードで次のディストリビューションをサポートしています。
Sparkバージョン [Yarn cluster] (Yarnクラスター)モードでサポートされているディストリビューション
Spark 2.4.x
  • Amazon EMR 5.2.x以降
  • Availability-noteDeprecated
    CDH 6.x
  • Availability-noteDeprecated
    HDP 3.x
Spark 3.0.x
  • Amazon EMR 6.2
  • CDP 7.1
Spark 3.1.x
  • Amazon EMR 6.3.x、6.4.x、6.5.x
Spark 3.2.x
  • Amazon EMR 6.6.0および6.7.0
Spark 3.3.x
  • Amazon EMR 6.8.0、6.9.0、6.10.0
  • CDP Private Cloud Base 7.1.8および7.1.9
  • CDP Public Cloud Data Hub 7.2.17
たとえば、Amazon EMR 6.2クラスターに接続したい場合は、Spark 3.0バージョンを選択した後に、クラスターに関連する*-site.xmlファイルがすべて含まれるHadoop接続JARファイルをアップロードする必要があります。

このディストリビューションリストはすべてを網羅していません。Sparkのバージョンが一致すれば他のディストリビューションでもYarn clusterを使用できますが、Talendによって公式にテストされていないため動作が保証されることはありません。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。