Identifier des modifications de données en utilisant les dimensions à évolution lente (SCD) de type 0 à 3 - 6.4

SCDELT

author
Talend Documentation Team
EnrichVersion
6.4
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Business Intelligence > Composants SCDELT
Gouvernance de données > Systèmes tiers > Composants Business Intelligence > Composants SCDELT
Qualité et préparation de données > Systèmes tiers > Composants Business Intelligence > Composants SCDELT
EnrichPlatform
Studio Talend

Ce scénario décrit un Job qui stocke et gère à la fois les données actuelles et les données historiques des employés dans une table MySQL en utilisant les dimensions à évolution lente (Slowly Changing Dimensions).

Pour plus d'informations concernant les technologies supportées par Talend, consultez Composants Talend.

Les données entrantes contiennent plusieurs informations sur les employés, comme leur nom (name), leur âge (age), leur rôle (role) et leur salaire (salary). Une colonne id est ajoutée afin d'assurer l'unicité des données entrantes.

Les données suivantes des employés sont d'abord insérées dans une nouvelle table MySQL en utilisant les dimensions à évolution lente :

id;name;age;role;salary
1;Mark Smith;30;tester;11000.00
2;Thomas Johnson;32;developer;12000.00
3;Teddy Brown;33;tester;13000.00

La table est ensuite mise à jour en utilisant les dimensions à évolution lente avec les données renouvelées suivantes des employés.

id;name;age;role;salary
1;Mark Smith;31;tester;11000.00
2;Thomas Johnson;32;developer;12000.00
3;Teddy Brown;33;writer;13500.00

Vous pouvez constater que l'âge de Mark Smith est mis à jour et passe de 30 à 31, que le rôle de Teddy Brown change de tester à writer et que son salaire de 13000.00 augmente à 13500.00. Dans ce scénario,

  • vous ne souhaitez pas identifier les modifications des données pour le champ name (il faut donc exécuter le SCD de type 0 sur ces données) ;

  • vous souhaitez que les nouvelles données age écrasent les données existantes (il faut donc exécuter le SCD de type 1 sur ces données) ;

  • vous souhaitez conserver un historique exhaustif des données role, créer systématiquement un nouvel enregistrement avec les données modifiées et fermer les enregistrements précédents (il faut donc exécuter le SCD de type 2 sur ces données) et,

  • vous souhaitez garder les précédentes valeurs de dimension pour le champ salary (il faut donc exécuter le SCD de type 3 sur ces données).

Pour plus d'informations concernant les types de SCD, consultez Méthodologie de gestion du SCD.