TalendジョブがApache Sparkで機能する仕組み - 7.3

Talend Big Data Platform Studio ユーザーガイド

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発
Talend Sparkジョブでは、Spark固有のコンポーネントを使用して、Sparkのフレームワークを使い、特定のSparkクラスターに加えて、RDD (Resilient Distributed Datasets)を処理します。

Talend Sparkジョブは、以下のいずれのモードでも実行できます:

  • ローカル: Studioは、Studio内でジョブをローカルに実行するために、ランタイム時に自身をSpark環境内にバインドします。このモードでは、ローカルマシンの各プロセッサーがSparkワーカーとして使用されて計算を行います。この設定ビューに設定するパラメーターは最小限しか必要とされません。

    このローカルマシンは、ジョブが実際に実行されるマシンです。

  • [Standalone] (スタンドアロン): StudioはSpark対応のクラスターに接続して、このクラスターからジョブを実行します。