重複グループから最良データを選択してサバイバーを作成する - Cloud - 8.0

Deduplication

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > データクオリティコンポーネント > 重複除外コンポーネント
データガバナンス > サードパーティーシステム > データクオリティコンポーネント > 重複除外コンポーネント
データクオリティとプレパレーション > サードパーティーシステム > データクオリティコンポーネント > 重複除外コンポーネント
Last publication date
2023-07-27

このシナリオは、Talend Data Management Platform、Talend Big Data Platform、Talend Real Time Big Data Platform、Talend Data Services Platform、Talend MDM PlatformおよびTalend Data Fabricにのみ適用されます。

Talendでサポートされているテクノロジーの詳細は、Talendコンポーネントをご覧ください。

このシナリオのジョブでは、重複データをグルーピングし、重複した表現を1つにします。プロセスで最終的に選択されるこの表現は「サバイバー」と呼ばれ、このサバイバーを使用して、MDMデータのマスターコピーなどを作成できます。

このジョブで使用されるコンポーネントは以下のとおりです:

  • tFixedFlowInput: このジョブによって処理される入力データを提供します。実際のユースケースでは、関連する別の入力コンポーネントを使用して、tFixedFlowInputを置き換えることにより必要なデータを提供できます。

  • tMatchGroup: 入力データの重複をグルーピングし、各グループにグループIDおよびグループサイズに関する情報を付与します。この情報のテクニカルな名称は、それぞれGID およびGRP_SIZEで、tRuleSurvivorshipで必要となります。

  • tRuleSurvivorship: ユーザー定義のサバイバー検証フローを作成し、最良データを選択して各重複グループの単一の表現を構成します。

  • tFilterColumns: テクニカルなカラムを除外し、実際の情報が含まれるカラムを出力します。

  • tLogRow: ジョブ実行の結果を示します。