Suivre les modifications de données dans une table PostgreSQL à l'aide du composant tPostgreSQLSCDELT - 6.4

SCDELT

author
Talend Documentation Team
EnrichVersion
6.4
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Business Intelligence > Composants SCDELT
Gouvernance de données > Systèmes tiers > Composants Business Intelligence > Composants SCDELT
Qualité et préparation de données > Systèmes tiers > Composants Business Intelligence > Composants SCDELT
EnrichPlatform
Studio Talend

Ce scénario décrit un Job capturant les modifications relatives aux données des employés, dans une table PostgreSQL à l'aide des méthodes de SCD (Slowly Changing Dimensions) Type 1 et Type 2 implémentées par le composant tPostgreSQLSCDELT, puis écrit les données actuelles et historiques dans une table de dimension SCD.

Pour plus d'informations concernant les technologies supportées par Talend, consultez Composants Talend.

Les données d'entrée contiennent des détails concernant les employés, notamment leur nom (name), leur rôle (role), leur salaire (salary). Une colonne id est ajoutée pour assurer l'unicité des données d'entrée.

Tout d'abord, les données suivantes des employés sont insérées dans une nouvelle table Snowflake.

#id;name;role;salary
1;Mark Smith;tester;11000.00
2;Thomas Johnson;developer;12000.00
3;Teddy Brown;tester;13000.00

Ensuite, la table est mise à jour avec les données renouvelées des employés.

#id;name;role;salary
1;Mark Smith;tester;15000.00
2;Thomas Johnson;tester;18000.00
3;Teddy Brown;writer;17000.00
4;John Clinton;developer;19000.00

Vous pouvez constater que le rôle de Thomas Johnson passe de developer à tester, le rôle de Teddy Brown passe de tester à writer et son salaire passe de 13000.00 à 17000.00. De plus, un nouvel enregistrement d'ID 4 est inséré. Dans ce scénario,

  • le nom et le rôle existants seront écrasés par les nouvelles données, la méthode SCD de Type 1 sera exécutée sur celles-ci,

  • l'historique complet des données des salaires sera conservé, un nouvel enregistrement contenant les données modifiées sera toujours créé et l'enregistrement précédent sera fermé. La méthode SCD de Type 2 sera exécutée sur celui-ci.

Pour plus d'informations concernant les types SCD, consultez Méthodologie de gestion du SCD.