Apache Spark BatchのtRunJobプロパティ - Cloud - 8.0

Orchestration (インテグレーション)

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > プロセス制御コンポーネント
データガバナンス > サードパーティーシステム > プロセス制御コンポーネント
データクオリティとプレパレーション > サードパーティーシステム > プロセス制御コンポーネント
Last publication date
2024-03-07

これらのプロパティは、Spark Batchジョブのフレームワーク内で実行されているtRunJobを設定するために使われます。

Spark BatchtRunJobコンポーネントは、システムファミリーに属しています。

このフレームワークのコンポーネントは、すべてのサブスクリプションベースのビッグデータ対応のTalend製品およびTalend Data Fabricで使用できます。

基本設定

[Use dynamic job] (ダイナミックジョブを使用)

複数のジョブを呼び出して処理できるようにするには、このチェックボックスを選択します。このオプションを有効にした場合、最新バージョンのジョブのみが呼び出され、処理されます。サブジョブの実行には、独立したプロセスが使われます。2つのオプション、[Context] (コンテキスト)および[Use an independent process to run subJob] (サブジョブを独立したプロセスで実行)が表示されなくなります。

警告: [Use dynamic job] (ダイナミックジョブを使用)オプションは、Talend JobServerのキャッシュに対応していません。したがって、Talend Administration CenterでこのチェックボックスがオンになったtRunjobを含むジョブを実行すると、失敗する可能性があります。

[Context job] (コンテキストジョブ)

このフィールドは、 [Use dynamic job] (ダイナミックジョブを使用)オプションを選択している場合にのみ表示されます。選択したジョブのリストから呼び出すジョブの名前を入力します。

[Job] (ジョブ)

呼び出して処理するジョブを選択します。tRunJobによるスムーズな実行を確保するには、ジョブを呼び出したら、前もって、実行済みであることを確認します。

Spark Batchジョブから標準ジョブを呼び出すことは推奨されません。

[Version] (バージョン)

使用する子ジョブバージョンを選択します。

[Context] (コンテキスト)

tRunJobによって実行するジョブのコンテキストと変数を定義したら、リストで該当するコンテキストエントリーを選択します。

[Die on child error] (子のエラー発生時に強制終了)

子ジョブの実行時にエラーが発生した時でも親ジョブを実行する場合には、このチェックボックスをオフにします。

[Transmit whole context] (コンテキスト全体を送信)

すべてのコンテキスト変数を親ジョブから取得するには、このチェックボックスを選択します。このチェックボックスをオフに設定すると、すべてのコンテキスト変数が子ジョブから取得されます。

親ジョブと子ジョブに同じコンテキスト変数が定義されている時に、このチェックボックスを選択すると:
  • [Context Param] (コンテキストパラメーター)テーブルで関連値が定義されていなければ、子ジョブの実行中、親ジョブの変数値が使用されます。

  • それ以外の場合は、[Context Param] (コンテキストパラメーター)テーブルで定義された値が子ジョブの実行中に使用されます。

[Context Param] (コンテキストパラメーター)

選択されているコンテキストパラメーターの値は変更できます。[+]ボタンをクリックし、子ジョブの[Context] (コンテキスト)ビューで定義したパラメーターを追加します。コンテキストパラメーターの詳細は、コンテキストと変数を使用をご覧ください。

ここで定義した値は、[Transmit whole context] (コンテキスト全体を送信)を選択している場合でも、子ジョブの実行中に使用されます。

詳細設定

[Print Parameters] (印刷パラメーター)

内部および外部パラメーターを[Console] (コンソール)に表示するには、このチェックボックスを選択します。

使用方法

使用ルール

このコンポーネントは、他のコンポーネントに接続せずに使用されます。

このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
  • Yarnモード(YarnクライアントまたはYarnクラスター):
    • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

    • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

    • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
    • オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。

  • [Standalone mode] (スタンドアロンモード): クラスターで使われているファイルシステム(tHDFSConfiguration Apache Spark BatchtS3Configuration Apache Spark Batchなど)に対応する設定コンポーネントを使用します。

    ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。