tPostgreSQLSCDELTコンポーネントを使ってPostgreSQLテーブルのデータ変更を追跡する - 7.2

SCDELT

Version
7.2
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > ビジネスインテリジェンスコンポーネント > SCDELT
データガバナンス > サードパーティーシステム > ビジネスインテリジェンスコンポーネント > SCDELT
データクオリティとプレパレーション > サードパーティーシステム > ビジネスインテリジェンスコンポーネント > SCDELT

このシナリオでは、tPostgreSQLSCDELTコンポーネントによって実装されたSCD (Slowly Changing Dimensions)タイプ1およびタイプ2のメソッドを使ってPostgreSQLテーブルの従業員データの変更をキャプチャし、現在のデータと履歴データの両方をSCDディメンションテーブルに書き込むジョブについて説明します。

Talendでサポートされているテクノロジーの詳細は、Talendコンポーネントを参照してください。

入力データには、namerolesalaryなどのさまざまな従業員の詳細が含まれており、入力データの統一性を確保するために別のidカラムが追加されています。

最初に、次の従業員データが新しいSnowflakeテーブルに挿入されます。

#id;name;role;salary
1;Mark Smith;tester;11000.00
2;Thomas Johnson;developer;12000.00
3;Teddy Brown;tester;13000.00

その後、テーブルは次の更新された従業員データで更新されます。

#id;name;role;salary
1;Mark Smith;tester;15000.00
2;Thomas Johnson;tester;18000.00
3;Teddy Brown;writer;17000.00
4;John Clinton;developer;19000.00

Thomas Johnsonのロールがdeveloperからtesterに変更され、Teddy Brownのロールがtesterからwriterに変更され、その給与が13000.00から17000.00に増額されていることがわかります。さらに、id 4の新しい従業員レコードが挿入されています。このシナリオでは、以下が行われます。

  • 既存の名前とロールのデータが新しいデータで上書きされます。そのため、それらに対してSCDタイプ1メソッドが実行されます。

  • 給与データの完全な履歴が保持され、データが変更された新しいレコードが常に作成され、前のレコードは閉じられます。そのため、それに対してSCDタイプ2メソッドが実行されます。

SCDタイプの詳細は、SCD管理方法論を参照してください。