Créer un jeu de données nettoyées à partir des paires suspectes libellées par le tMatchPredict et les enregistrements uniques calculés par le tMatchPairing - 7.0

Deduplication

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Data Quality > Composants de dédoublonnage
Gouvernance de données > Systèmes tiers > Composants Data Quality > Composants de dédoublonnage
Qualité et préparation de données > Systèmes tiers > Composants Data Quality > Composants de dédoublonnage
EnrichPlatform
Studio Talend

Ce scénario s'applique uniquement aux solutions Talend Platform avec Big Data et Talend Data Fabric nécessitant souscription.

Pour plus d'informations concernant les technologies supportées par Talend, consultez .

Dans cet exemple, les données d'entrée sont issues de deux sources :
Le cas d'utilisation décrit dans ce scénario utilise deux subjobs :
  • Dans le premier subjob, tRuleSurvivorship traite les enregistrements identifiés comme étant des doublons et regroupés par le tMatchPredict, afin de créer un représentant unique de chaque groupe de doublons.

  • Dans le deuxième subjob, tUnite fusionne les représentants uniques et les enregistrements uniques afin de créer un jeu de données nettoyées et dédoublonnées qui sera utilisé avec le composant tMatchIndex.

Le fichier de sortie contient des données nettoyées et dédoublonnées. Vous pouvez indexer ce jeu de données de références dans Elasticsearch à l'aide du composant tMatchIndex.