Sparkジョブの作成 - 7.1

Talend Real-time Big Data Platform Studioユーザーガイド

author
Talend Documentation Team
EnrichVersion
7.1
EnrichProdName
Talend Real-Time Big Data Platform
task
ジョブデザインと開発
EnrichPlatform
Talend Studio

Integration パースペクティブの[Repository] (リポジトリ)ツリービューにある[Job Designs] (ジョブデザイン)ノードから、または[Job Designs] (ジョブデザイン)ノードの下にある[Big Data Batch] (ビッグデータバッチ)ノードから始めることができます。

2つのアプローチは似ています。次の手順は、[Job Designs] (ジョブデザイン)ノードからSparkジョブを作成する方法を示すものです。

手順

  1. [Job Designs] (ジョブデザイン)ノードを右クリックし、コンテキストメニューから[Create Big Data Batch Job] (ビッグデータバッチジョブの作成)を選択します。
    [New Big Data Batch Job] (新しいビッグデータバッチジョブ)ウィザードが表示されます。
  2. [Framework] (フレームワーク)ドロップダウンリストから[Spark]を選択します。
  3. [Name] (名前)、[Purpose] (目的)、[Description] (説明)フィールドにそれぞれ情報を入力します。ジョブの名前は必須です。
    入力が終わると[Finish] (終了)ボタンが有効になります。
  4. ジョブのバージョンを変更する必要がある場合は、[Version] (バージョン)フィールドの横にある[M]および[m]ボタンをクリックして変更を行います。
    ジョブのステータスを変更する必要がある場合は、[Status] (ステータス)フィールドのドロップダウンリストから選択します。
    変更不可能なフィールドの情報を編集する必要がある場合は、メニューバーで[File] (ファイル)> [Edit Project properties] (プロジェクトプロパティの編集)の順に選択して[Project Settings] (プロジェクト設定)ダイアログボックスを開き、必要な変更を行います。
  5. [Finish] (終了)をクリックしてウィザードを閉じ、変更を有効にします。
    Studioのワークスペースに空のジョブが開き、Sparkで利用可能なコンポーネントが[Palette] (パレット)に表示されます。

タスクの結果

[Repository] (リポジトリ)ツリービューで、作成されたこのSparkジョブが、[Job Designs] (ジョブデザイン)の下にある[Big Data Batch] (ビッグデータバッチ)ノードの下に自動的に表示されます。

使用するコンポーネントを[Palette] (パレット)からワークスペースにドロップし、標準ジョブと同様の方法でリンクや設定を行ってSparkジョブをデザインします。また、[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、使用するSparkクラスターへの接続をセットアップする必要があります。

Sparkストリーミングジョブを作成する場合も、同じオペレーションを繰り返します。唯一異なる手順は、[Job Designs] (ジョブデザイン)ノードを右クリックした後でコンテキストメニューから[Create Big Data Streaming Job] (ビッグデータストリーミングジョブの作成)を選択し、表示される[New Big Data Streaming Job] (新しいビッグデータストリーミングジョブ)ウィザードで、[Framework] (フレームワーク)ドロップダウンリストからSparkストリーミングを選択する点だけです。

Sparkジョブを[Local] (ローカル)モード以外のモードで実行する必要がある場合は、同じジョブ内にストレージコンポーネント(通常はtHDFSConfigurationコンポーネント)が必要です。これは、Sparkがこのコンポーネントを使用して、ジョブに依存するjarファイルの転送先のファイルシステムに接続できるようにするためです。

ジョブスクリプトビューにジョブスクリプトを書き込み、ジョブを生成することで、これらのタイプのジョブを作成することも可能です。ジョブスクリプトの使い方の詳細は、https://help.talend.com/で『Talendジョブスクリプトリファレンス』を参照して下さい。