Apache Spark BatchのtRunJobプロパティ - 7.3

System (システム)

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > システムコンポーネント
データガバナンス > サードパーティーシステム > システムコンポーネント
データクオリティとプレパレーション > サードパーティーシステム > システムコンポーネント

これらのプロパティを使って、Spark Batchジョブフレームワーク内で実行されているtRunJobを設定します。

Spark BatchtRunJobコンポーネントはシステムファミリーのコンポーネントです。

このフレームワーク内のコンポーネントは、ビッグデータ対応のサブスクリプションTalend 製品すべて、およびTalend Data Fabricで使用できます。

基本設定

[Use dynamic job] (ダイナミックジョブの使用)

複数のジョブを呼び出して処理できるようにするには、このチェックボックスをオンにします。このオプションを有効にした場合、最新バージョンのジョブのみが呼び出され、処理されます。サブジョブの実行には、独立したプロセスが使われます。2つのオプション、[Context] (コンテキスト)および[Use an independent process to run subJob] (サブジョブを独立したプロセスで実行)が表示されなくなります。

警告: [Use dynamic job] (ダイナミックジョブの使用)オプションは、ジョブサーバーのキャッシュに対応していません。したがって、Talend Administration CenterでこのチェックボックスがオンになったtRunjobを含むジョブを実行すると、失敗する可能性があります。

[Context job] (コンテキストジョブ)

このフィールドは、 [Use dynamic job] (ダイナミックジョブの使用)オプションを選択している場合にのみ表示されます。選択したジョブのリストから呼び出すジョブの名前を入力します。

[Job] (ジョブ)

呼び出して処理するジョブを選択します。tRunJobによるスムーズな実行を確保するには、ジョブを呼び出したら、前もって、実行済みであることを確認します。

[Version] (バージョン)

使用する子ジョブバージョンを選択します。

[Context] (コンテキスト)

tRunJobによって実行するジョブのコンテキストと変数を定義したら、リストで該当するコンテキストエントリを選択します。

[Die on child error] (子のエラー発生時に強制終了)

子ジョブの実行時にエラーが発生した時でも親ジョブを実行する場合には、このチェックボックスをオフにします。

[Transmit whole context] (コンテキスト全体の転送)

すべてのコンテキスト変数を親ジョブから取得するには、このチェックボックスをオンにします。このチェックボックスをオフに設定すると、すべてのコンテキスト変数が子ジョブから取得されます。

親ジョブと子ジョブに同じコンテキスト変数が定義されている時に、このチェックボックスをオンにすると:
  • [Context Param] (コンテキストパラメーター)テーブルで関連値が定義されていなければ、子ジョブの実行中、親ジョブの変数値が使用されます。

  • それ以外の場合は、[Context Param] (コンテキストパラメーター)テーブルで定義された値が子ジョブの実行中に使用されます。

[Context Param] (コンテキストパラメーター)

選択されているコンテキストパラメーターの値は変更できます。[+]ボタンをクリックし、子ジョブの[Context] (コンテキスト)タブで定義したパラメーターを追加します。コンテキストパラメーターについては、 Talend Studioユーザーガイドを参照してください。

ここで定義した値は、[Transmit whole context] (コンテキスト全体の転送)を選択している場合でも、子ジョブの実行中に使用されます。

詳細設定

[Print Parameters] (印刷パラメーター)

内部および外部パラメーターを[Console] (コンソール)に表示するには、このチェックボックスをオンにします。

使用方法

使用ルール

このコンポーネントは、他のコンポーネントに接続せずに使用されます。

このコンポーネントは、所属するSpark Batchコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメントのシナリオでは、[Standard] (標準)ジョブ、つまり従来の Talend データ統合ジョブだけを扱います。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark Configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
  • Yarnモード(YarnクライアントまたはYarnクラスター):
    • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

    • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

    • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
    • Quboleを使用する場合は、ジョブにtS3Configurationを追加し、QuboleでS3システム内に実際のビジネスデータを書き込みます。tS3Configurationを使用しないと、このビジネスデータはQubole HDFSシステムに書き込まれ、クラスターをシャットダウンすると破棄されます。
    • オンプレミスのディストリビューションを使用する場合は、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。

  • [Standalone mode] (スタンドアロンモード): tHDFSConfigurationまたはtS3Configurationなど、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。

    ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。