既存のMapReduceジョブをSparkバッチジョブに変換すると、既存のアセットをフルに活用して、Sparkジョブを簡単に作成することができます。
手順
-
[Repository] (リポジトリ)ツリービューで、[Job Designs] (ジョブデザイン)ノード、[Big Data Batch] (ビッグデータバッチ)ノード、続いてgetting_startedフォルダーおよびmapreduceフォルダーを展開します。
-
aggregate_movie_director_mrジョブを右クリックし、コンテキストメニューから[Duplicate] (複製)を選択します。
[Duplicate] (複製)ウィンドウが開きます。
-
[Input new name] (新しい名前の入力)フィールドで、複製にaggregate_movie_director_spark_batchという名前を付けます。
-
[Framework] (フレームワーク)リストから[Spark]を選択し、[OK]をクリックして変更を確定します。
aggregate_movie_director_spark_batchジョブが[Repository] (リポジトリー)のmapreduceフォルダーに表示されます。
-
getting_startedフォルダーを右クリックし、コンテキストメニューから[Create folder] (フォルダーの作成)を選択します。
-
[New Folder] (新規フォルダー)ウィザードで新しいフォルダーにspark_batchという名前を付け、[Finish] (終了)をクリックしてフォルダーを作成します。
-
aggregate_movie_director_spark_batchジョブをこのspark_batchフォルダーにドロップします。
タスクの結果
この新しいSparkバッチジョブは、さらに編集できる状態になっています。