Sparkモード
Sparkジョブが実行されるメソッドのことです。Talend Sparkジョブは、以下のいずれのモードでも実行できます:
- ローカル: Studio Talendは実行時にSpark環境自体をビルドし、Studio Talend内でジョブをローカルに実行します。
- スタンドアロン: Studio TalendはSpark対応のクラスターに接続し、このクラスターからジョブを実行します。
- YARNクライアント: Studio TalendはSparkドライバーを実行してジョブの実行方法をオーケストレーション化し、特定のHadoopクラスターのYARNサービスにそのオーケストレーション化を送信して、そのYARNサービスのリソースマネージャーが実行リソースを適宜要求できるようにします。
- YARNクラスター: Studio Talendは、ジョブを送信し、YARNおよびApplicationMasterからジョブの実行情報を収集します。Sparkドライバーがクラスター上で実行され、Studio Talendから独立して実行できます。
このページは役に立ちましたか?
このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。