Talend Administration Centerでジョブを実行 - 7.3

Talend Big Data 入門ガイド
Version
7.3
Language
日本語
EnrichDitaval
Big Data
Product
Talend Big Data
Module
Talend Administration Center
Talend Installer
Talend Runtime
Talend Studio
Content
インストールとアップグレード
ジョブデザインと開発

Talend Administration Centerの[Job Conductor] (ジョブコンダクター)ページで、MapReduce and Spark Batch Jobsのスクリプト生成、デプロイ、および実行フェーズを収集する実行タスクを定義します。

始める前に

  • 使用するDatabricksクラスターが正しく設定および実行されていること。

  • 前のセクションで説明しているユースケースジョブが作成済みで、Studioで正しく実行されていること。

手順

  1. 最初のユーザーとプロジェクトを設定で作成したアカウントでTalend Administration Centerにログインします。
  2. Talend Administration Centerの[Menu] (メニュー)ツリービューで[Job Conductor] (ジョブコンダクター)をクリックし、[Job conductor] (ジョブコンダクター)ページを表示します。
  3. [Job Conductor] (ジョブコンダクター)ページのツールバーで、[Add] (追加) > [Normal Task] (ノーマルタスク)をクリックして、[Execution task] (実行タスク)設定パネルの内容を消去します。
  4. トリガーするタスクに付ける名前を[Label] (ラベル)フィールドに入力します。たとえば、getting_startedです。
  5. アイコンをクリックして[Job conductor] (ジョブコンダクター)から実行するジョブを検索するジョブフィルターを開き、[Latest] (最新)バージョンを使用してフィルターから選択します。

    たとえばこれは、次ので説明されているSpark Batchジョブにできます。Apache Spark Batchジョブを使って動画とディレクターの情報を結合.

    ジョブを選択すると、フィールド[Project] (プロジェクト)、[Branch] (ブランチ)、[Name] (名前)、[Version] (バージョン)、[Context] (コンテキスト)にはすべて、選択したジョブの関連情報が自動的に入力されます。

  6. タスクのデプロイと実行の前に選択したジョブをジョブ自体に変更が行われる度に再生成するには、[Regenerate Job on change] (ジョブ変更時再生成)チェックボックスをオンにします。

    [Latest version] (最終バージョン)を選択すると、Studioでジョブの新しいバージョンが作成された場合に、[Regenerate Job on change] (ジョブ変更時再生成)チェックボックスをオフにしていてもジョブは再生成されます。

  7. タスクをデプロイするサーバーを選択します。

    このシナリオでは、サーバーはTalend Runtime ContainerをTalend Administration Centerに接続で設定した Talend Runtimeサービスです。

  8. [Save] (保存)をクリックして、設定を有効にします。

    この新しいタスクは、タスクリストに追加されます。

  9. [Job conductor] (ジョブコンダクター)ページでgetting_startedタスクをクリックして選択し、ツールバーで[Generate] (生成)をクリックして、タスクがTalend Studio [Repository] (リポジトリー)から該当するプロジェクト内の該当するジョブスクリプトをフェッチし、コードを生成できるようにします。

    完了すると、タスクのステータスが[Ready to deploy] (デプロイ可能)に変わります。これは、生成されたコードを実行サーバーにデプロイする準備ができたことを意味します。

  10. [Deploy] (デプロイ)をクリックし、ジョブを実行サーバーにデプロイします。

    完了すると、ステータスが[Ready to run] (実行可能)に変わります。これは、サーバーがジョブを受信し、実行する準備ができたことを意味します。

  11. [Run] (実行)をクリックしてジョブを実行します。

    完了すると、ステータスは[Ready to run] (実行可能)に戻ります。これは、必要に応じてジョブをもう一度実行できることを意味します。

    タスクが正しく完了しなかった場合は、[Error Status] (エラーのステータス)カラムとタスクログでジョブの完了情報をご確認ください。

    完了すると、たとえばMicrosoft Azure Storage Explorerで、出力がADLSストレージシステムに書き込まれていることを確認できます。