Spark Universalでモード、ディストリビューション、環境を切り替え - Cloud

Talend Cloud Big Data Studio ユーザーガイド

Version
Cloud
Language
日本語 (日本)
EnrichDitaval
Big Data
Product
Talend Cloud
Module
Talend Studio
Content
ジョブデザインと開発

Spark Universalメカニズムによって、同じジョブ設定を保持したままHadoop設定JARファイルを変更すると、さまざまなSparkモード、ディストリビューション、環境を容易かつ迅速に切り替えることができます。切り替え操作を以下で行えます:

  • [Spark mode] (Sparkモード): [Local] (ローカル)モードと[Yarn cluster] (Yarnクラスター)モードを切り替えて、クラスターに送信する前に、ローカルマシン上でまずジョブをテストできます。
  • [Distribution] (ディストリビューション): 特定のSparkバージョンに対して使用できるさまざまなビッグデータディストリビューションを切り替えられます。
  • [Environment] (環境): 開発、統合、本番環境を切り替えられます。

このタスクについて

このプロシージャーでは、[Local] (ローカル)モードで作業するジョブを使用します。

手順

  1. ジョブをクラスターに送信するには、ジョブの[Spark configuration] (Spark設定)ビューにある[Spark Mode] (Sparkモード)ドロップダウンリストから[Yarn cluster] (Yarnクラスター)を選択します。
  2. 使いたい開発クラスターの接続パラメーターを追加するHadoop設定JARファイルへのパスを指定します。
  3. 環境またはディストリビューションを変更するには、別のHadoop設定JARファイルへのパスを指定します。
    注: Hadoop接続を一元管理で説明されているとおりに[Repository] (リポジトリー)で接続パラメーターを設定した場合は、[Property] (プロパティ)タイプから[Repository] (リポジトリー)を選択してから、クラスターを選択すると、環境またはディストリビューションも変更できます。