メイン コンテンツをスキップする 補完的コンテンツへスキップ

Spark Universalでモード、ディストリビューション、環境を切り替え

Spark Universalメカニズムを使い、同じジョブ設定を保持したままHadoop設定JARファイルを変更すれば、さまざまなSparkモード、ディストリビューション、環境を容易かつ迅速に切り替えることができます。切り替え操作は以下で実行できます。

  • [Spark mode] (Sparkモード): [Local] (ローカル)モードと[Yarn cluster] (Yarnクラスター)モードを切り替えて、クラスターに送信する前に、ローカルマシン上でまずジョブをテストできます。
  • [Distribution] (ディストリビューション): 特定のSparkバージョンに対して使用できるさまざまなビッグデータディストリビューションを切り替えられます。
  • [Environment] (環境): 開発、統合、本番環境を切り替えられます。

このタスクについて

このプロシージャーでは、[Local] (ローカル)モードで作業するジョブを使用します。

手順

  1. ジョブをクラスターに送信するには、ジョブの[Spark configuration] (Spark設定)ビューにある[Spark Mode] (Sparkモード)ドロップダウンリストから[Yarn cluster] (Yarnクラスター)を選択します。
  2. 使いたい開発クラスターの接続パラメーターを追加するHadoop設定JARファイルへのパスを指定します。
  3. 環境またはディストリビューションを変更するには、別のHadoop設定JARファイルへのパスを指定します。
    情報メモ注: Hadoop接続を一元管理で説明されているとおりに[Repository] (リポジトリー)で接続パラメーターを設定した場合は、[Property] (プロパティ)タイプから[Repository] (リポジトリー)を選択してから、クラスターを選択すると、環境またはディストリビューションも変更できます。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。