Créer automatiquement des tâches - 6.5

Talend Data Stewardship Console Guide utilisateur

EnrichVersion
6.5
EnrichProdName
Talend Data Fabric
Talend MDM Platform
EnrichPlatform
Talend MDM Web UI
task
Gouvernance de données
Qualité et préparation de données

Le composant tStewardshipTaskOutput vous permet de créer des tâches de résolution ou des tâches de données et de les lister dans la base de données de la console d'arbitrage.

Lorsque vous utilisez ce composant dans un Job de mise en correspondance des données, toutes les tâches de résolution des données correspondant aux conflits de données existants sont listées dans la console d'arbitrage en attendant d'être résolues. Un arbitre autorisé peut intervenir afin de fusionner/résoudre ces données provenant de sources hétérogènes.

Lorsque vous utilisez ce composant dans un Job d'intégration de données, les tâches de données sont également listées dans la console d'arbitrage en attendant l'intervention d'arbitres qui assureront la cohérence et la complétude des données.

Ci-dessous se trouve un exemple d'un possible cycle de vie des tâches de résolution des données listées dans Talend Data Stewardship Console:

Lorsque plusieurs sources existent pour les mêmes enregistrements de données et que ces sources entrent en conflit, vous devez choisir une source, ou fusionner les données de ces différentes sources afin d'atteindre la version unique de la vérité. Une mise en correspondance de ces enregistrements est nécessaire. Lorsqu'aucune correspondance n'est trouvée, les données problématiques sont listées dans Talend Data Stewardship Console, où une mise en correspondance manuelle et composite via une intervention humaine est requise. Cette mise en correspondance composite va résoudre les conflits et atteindre l'ensemble final de données qui sera placé dans le hub MDM si ce sont des données maître ou dans tout(e) autre fichier/base de données/application.

Ce flux global est transcrit en un ou plusieurs Job(s) Talend rassemblant des données de différentes sources, à l'aide du composant tMatchGroup pour mettre les données en correspondance. Là où aucune correspondance n'est trouvée, un tStewardshipTaskOutput va lister les données dans Talend Data Stewardship Console. Un arbitre autorisé peut ensuite effectuer la mise en correspondance composite sur les données listées et atteindre l'ensemble final de données qui sera écrit dans la base de données de la console d'arbitrage.

Considérez, par exemple, qu'un Job Talend utilisant le composant tMatchGroup ait été créé et exécuté dans la perspective Integration du Studio Talend afin de mettre en correspondance les enregistrements clients provenant de différente sources : un système SAP, une base de données Oracle et un fichier Excel. Des correspondances exactes et des correspondances possibles ont été trouvées dans les données.

Dans ce Job :

  • un composant tUnite fusionne les données provenant des trois sources,

  • un composant tGenkey génère une clé fonctionnelle pour chaque colonne d'entrée,

  • un composant tMatchGroup compare les colonnes dans le flux d'entrée en utilisant une méthode définie de mise en correspondance et regroupe les doublons,

  • un composant tMap filtre les résultats de la mise en correspondance et envoie les enregistrements uniques à un composant tMDMOutput pour qu'il les écrive dans le hub MDM,

  • un composant tSurviveFields reçoit le flux du tMap et le fusionne à partir d'une ou plusieurs colonne(s) afin d'obtenir les enregistrements uniques qui sont envoyés dans le hub MDM via un tMDMOutput,

  • un autre tMDMOutput qui écrit les enregistrements uniques directement dans le hub MDM,

  • un composant tStewardshipTaskOutput crée des tâches de résolution de données détaillant tous les enregistrements correspondants ou qui peuvent correspondre, ne pouvant être résolus automatiquement et les liste dans Talend Data Stewardship Console.

Un arbitre autorisé intervient ensuite pour suivre/fusionner/résoudre manuellement les tâches listées dans la liste des tâches afin de composer les enregistrements de données valides et les stocker dans la base de données de la console d'arbitrage. Un autre Job Talend utilisant un tStewardshipTaskInput et un composant de sortie est utilisé pour écrire les données dans le hub MDM ou dans toute application MDM cible. Le composant tStewardshipTaskInput va lire les tâches résolues à partir de la base de données de la console d'arbitrage et envoyer les enregistrements stockés dans les tâches au composant de sortie qui va alimenter le hub MDM ou toute autre application MDM cible avec ces enregistrements de données.

Pour plus d'informations concernant les composants Talend nécessaires à la création d'un tel Job, consultez le Guide de référence des Composants Talend et particulièrement les chapitres Data Quality et MDM.

Pour un scénario d'exemple, consultez les chapitres MDM et Data Quality dans le Guide de référence des Composants Talend.