Spark Universalでモード、ディストリビューション、環境を切り替え - Cloud - 8.0

Talend Studioユーザーガイド

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発
Last publication date
2023-09-26
対象製品...

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Spark Universalメカニズムを使い、同じジョブ設定を保持したままHadoop設定JARファイルを変更すれば、さまざまなSparkモード、ディストリビューション、環境を容易かつ迅速に切り替えることができます。切り替え操作は以下で実行できます。

  • [Spark mode] (Sparkモード): [Local] (ローカル)モードと[Yarn cluster] (Yarnクラスター)モードを切り替えて、クラスターに送信する前に、ローカルマシン上でまずジョブをテストできます。
  • [Distribution] (ディストリビューション): 特定のSparkバージョンに対して使用できるさまざまなビッグデータディストリビューションを切り替えられます。
  • [Environment] (環境): 開発、統合、本番環境を切り替えられます。

このタスクについて

このプロシージャーでは、[Local] (ローカル)モードで作業するジョブを使用します。

手順

  1. ジョブをクラスターに送信するには、ジョブの[Spark configuration] (Spark設定)ビューにある[Spark Mode] (Sparkモード)ドロップダウンリストから[Yarn cluster] (Yarnクラスター)を選択します。
  2. 使いたい開発クラスターの接続パラメーターを追加するHadoop設定JARファイルへのパスを指定します。
  3. 環境またはディストリビューションを変更するには、別のHadoop設定JARファイルへのパスを指定します。
    注: Hadoop接続を一元管理で説明されているとおりに[Repository] (リポジトリー)で接続パラメーターを設定した場合は、[Property] (プロパティ)タイプから[Repository] (リポジトリー)を選択してから、クラスターを選択すると、環境またはディストリビューションも変更できます。