tDataStewardshipTaskOutputの標準プロパティ - Cloud - 8.0

Data Stewardship

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Data Stewardship
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > データスチュワードシップコンポーネント
データガバナンス > サードパーティーシステム > データスチュワードシップコンポーネント
データクオリティとプレパレーション > サードパーティーシステム > データスチュワードシップコンポーネント
Last publication date
2024-02-28

これらのプロパティは、標準ジョブのフレームワークで実行されているtDataStewardshipTaskOutputコンポーネントを設定するために使われます。

標準tDataStewardshipTaskOutputコンポーネントは、Talend Data Stewardshipファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのサブスクリプションベースのTalend製品で使用できます。

基本設定

[Property Type] (プロパティタイプ)

[Built-in] (組み込み)または[Repository] (リポジトリー)のいずれかで次の設定を行います。

 

[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

 

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

[Schema] (スキーマ)および[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

  • [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

    変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Find a campaign] (キャンペーンの検索)リストからキャンペーンを選択すると、tDataStewardshipTaskOutputではキャンペーンで定義されているスキーマが認識され、基本設定で同一のスキーマカラムが作成されます。このコンポーネントでは、カラムTDS_DUE_DATETDS_EXTERNAL_IDもスキーマに追加されます:
  • TDS_DUE_DATE: YYYY-MM-DD HH:mm:ssの形式でタスクの期日が保持されます。期日は、Talend Data Stewardshipのキャンペーンの作成時に定義したタスクの遅延に基づいて自動的に計算されます。キャンペーンの作成時にタスクの遅延日を定義しない場合、このカラムは空のままになります。

  • TDS_EXTERNAL_ID: Talend MDM Web UIなどの他のシステムから簡単に取得できるように、任意のタスクの識別子を設定できます。

    ジョブの作成時にタスクの識別コードを定義しない場合、このカラムは空のままになります。

[MERGING] (マージング)または[GROUPING] (グルーピング)キャンペーンでタスクを書き込むように選択した場合、以下のカラムが自動的にスキーマに追加されます:

  • TDS_GID: グループ識別コードが保持されます。

    この識別コードは、タスク内のレコードをグルーピングするためにtDataStewardshipTaskOutputによって使われます。単一のタスク内でグルーピングするソースレコードにはすべて、同じTDS_GIDが必要です。

  • TDS_MASTER ([MERGING] (マージング)キャンペーンのみ): レコードがマスターとソースレコードのどちらであるかを示します。

    考慮すべき2つのケース:
    • 特定のタスクに対してマスターとして設定されているソースレコードがない場合、Talend Data Stewardshipでは、キャンペーン作成時に定義したサバイバーシップルールに基づいてマスターレコードを作成するために使用する、一致レコードの属性が決定されます。

      サバイバーシップルールの詳細は、Talend Data Stewardshipの例で、マージングキャンペーンにおけるデータモデルの設定に関するセクションをご覧ください。

    • 特定のタスクに複数のソースレコードがマスターとして設定されている場合、Talend Data Stewardshipはマスターとして設定されている最初のソースを取ります。したがって、1つのタスクに含めるマスターレコードを0または1のどちらかにすることが、ベストプラクティスとなります。
  • TDS_SOURCE: レコードのソースの名前を保持します(もしあれば)。

  • TDS_RATING ([MERGING] (マージング)キャンペーンのみ): タスク作成時にソースレコードごとにトラストスコアを提供します。キャンペーン作成時に定義されていたスコアは、このスコアによって上書きされます。スコアは0から100までのパーセンテージを表す整数値になります。

  • TDS_SCORE: マッチングアルゴリズムに基づいて計算される入力レコードとマスタレコードの違いを示します。

  • TDS_CREATION: タスクの作成日を保持します。
  • TDS_LAST_UPDATE: タスクの最終アップデート日を保持します。

URL

http://<server_address>:19999/data-stewardship/)のように、Talend Data Stewardshipサーバーにアクセスするアドレスに/data-stewardship/というサフィックスを付けて入力します。

Talend Cloud Data Stewardshipで作業している場合は、/data-stewardship/というサフィックスが付いた対応するデータセンターのURLを使ってアプリケーションにアクセスします。たとえばAWS USデータセンターの場合はhttps://tds.us.cloud.talend.com/data-stewardshipとなります。

利用できるデータセンターのURLは、Talend CloudのリージョンとURLをご覧ください。

[Username] (ユーザー名)[Password] (パスワード)

Talend Data Stewardshipにログインするための認証情報を入力します。

パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。

Talend Cloud Data Stewardshipで作業しており、かつ次の場合:
  • SSOが有効な場合は、アクセストークンをフィールドに入力します。
  • SSOが有効でない場合は、アクセストークンまたはパスワードをフィールドに入力します。

[Campaign] (キャンペーン)

[Find a campaign] (キャンペーンの検索)をクリックして、Talend Data Stewardshipで利用可能なすべてのキャンペーンのリストを開き、タスクが保存されているキャンペーンの名前を選択します。これは情報提示の読み取り専用のフィールドです。

[Type] (タイプ)

キャンペーンの選択後に事前定義済みのタイプからキャンペーンタイプを表示する読み取り専用リスト。

[Override enforcement of data model] (データモデルの強制オーバーライド)

有効ではないスキーマタイプでもあえてTalend Data Stewardshipサーバーのデータを処理する場合は、このチェックボックスをオンにし、スキーマの入力検証を実行しないようにします。

このチェックボックスは、[Merging] (マージング)キャンペーンタイプと[Resolution] (レゾリューション)キャンペーンタイプではデフォルトで選択されています。

[State] (状態)

タスクを作成するワークフロー内の状態をリストから選択します。

このリストには、キャンペーンワークフロー内で定義するすべての状態の名前が表示されます。ここには、最初と最後の状態、およびTalend Data Stewardshipでキャンペーンを作成する時に追加する検証状態が表示されます。

さまざまな値に応じてさまざまな状態を定義できるよう値をコンテキスト化したい場合は、[Custom] (カスタム)オプションを使います。たとえば、すべての入力フィールドをチェックしたい場合は[State] (状態)フィールドに"New"という値を割り当てます。入力値が確信できるもので、ただ検証したい場合は、このフィールドに"To validate"という値を割り当てます。

担当者

タスクを作成するキャンペーン参加者を選択します。あるいは、[No Assignee] (割り当て先なし) を選択して、タスクを誰にも割り当てずに作成します。

[Custom] (カスタム)オプションを使用すると、表示されているフィールドにコンテキスト変数を定義することで、キャンペーンのデータスチュワードの部分にタスクを動的に割り当てることができます。想定される値はスチュワードのログイン情報となります。

このオプションを使用し、受信データの指定された属性に基づいて特定のスチュワードにタスクを割り当てることができます。たとえば、フランスの顧客にはフランス人スチュワードJacques Bocuse、米国の顧客にはアメリカ人スチュワードCale Carolinaを割り当てるようにする、顧客サポートレベルがプラチナの場合はサポートチームリードに割り当て、ゴールドの場合はエキスパートに割り当てる、などのようにできます。

[Priority] (優先度)[Choice] (選択)および[Tags] (タグ)

[Priority] (優先度)(任意): タスク優先度のいずれかを選択します。あるいは、[Custom] (カスタム)を選択し、表示されるフィールドにカスタムの式を設定するために使われます。

レベルが選択されない場合、デフォルトでは[Medium] (中)が使用されます。

[Choice] (選択) (任意、[ARBITRATION] (アービトレーション)キャンペーンが選択を選択している場合のみ使用可能): Webアプリケーションでキャンペーンを定義する際、キャンペーンのレコードに設定する任意の選択オプションを選びます。デフォルト値は[No Choice] (選択なし)で、この選択によりデータスチュワードはWebアプリケーションで作業を行うことができます。ただし、ジョブでアービトレーションの選択を設定することで、タスク作成時に最も関連性が高いと思われる選択項目を事前に選択することによりスチュワードをサポートできます。

[Tags] (タグ) (任意): 作成するタスクに関連付けるタグを入力します。

このタグを使用して、キャンペーンにロードするタスクをフィルタリングできます。

コメント

(任意): 1つまたは複数のスキーマカラムを選択し、作成するタスクに追加のコメントを入力します。

このテーブルではデフォルトですべてのスキーマカラムがリスト表示されます。

キャンペーン参加者は、Talend Data Stewardshipのソースレコードカラムにポインターを置くことで、いつでもコメントを表示できます。この情報はタスクを解決する際に、より多くの情報を得た上で判断するのに役立ちます。

詳細設定

[Campaign ID] (キャンペーンID)

基本設定でキャンペーンを選択すると、そのキャンペーンの技術的な名前を表示します。ただし、フィールド値を変更して、たとえばコンテキストパラメーターに置き換え、実行時にコンテキスト変数をジョブにパスできます。この技術的な名前は、ジョブがTalend Data Stewardshipと通信する時に、[Campaign] (キャンペーン)フィールドの値に関係なく、キャンペーンの特定に常に使用されます。

[Max tasks per commit] (コミットあたりの最大タスク数)

各回のコミットのタスク数を設定するために使われます。

Talend Data Stewardshipのバッチサイズに制限はありません(オンプレミス)。

ただし、Talend Cloud Data Stewardshipでは、1回のコミットで200件のタスクを超えないようにする必要があり、大きな値を設定するとジョブで障害が発生します。

[HTTP client configuration] (HTTP Client設定)

[Connect Timeout] (接続タイムアウト): 接続の試行に失敗してジョブが強制終了するまでの時間(ミリ秒)を設定するために使われます。

[Request Timeout] (リクエストタイムアウト): リクエストの試行に失敗してジョブが強制終了するまでの時間(ミリ秒)を設定するために使われます。

値を0にすると待ち時間が無限であると解釈されます。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

NB_LINE

処理されたメッセージの数。これはAfter変数で、整数を返します。

NB_REJECT

リジェクトされた行数。これはAfter変数で、整数を返します。

NB_SUCCESS

正しく処理された行数。これはAfter変数で、整数を返します。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。

使用方法

使用ルール

このコンポーネントは、通常、ジョブまたはサブジョブの終了コンポーネントとして使い、常に入力リンクが必要です。