Calculer des paires suspectes et écrire un échantillon dans Talend Data Stewardship - 7.0

Matching with machine learning

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data Platform
Talend Data Fabric
Talend Data Management Platform
Talend Data Services Platform
Talend MDM Platform
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement utilisant l'apprentissage automatique
Gouvernance de données > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement utilisant l'apprentissage automatique
Qualité et préparation de données > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement utilisant l'apprentissage automatique
EnrichPlatform
Studio Talend
Talend Data Stewardship

Ce scénario s'applique uniquement aux solutions Talend Platform avec Big Data et Talend Data Fabric nécessitant souscription.

Pour plus d'informations concernant les technologies supportées par Talend, consultez .

Trouver des enregistrements en doublon est difficile et prend beaucoup de temps, particulièrement lorsque vous traitez un grand volume de données. Dans cet exemple, le tMatchPairing utilise une clé de bloc pour calculer les paires de doublons suspects dans une longue liste de centres d'éducation de la petite enfance, à Chicago, provenant de dix sources différentes.

Il calcule également un échantillon de doublons suspects et l'écrit sous forme de tâches dans une campagne Grouping sur le serveur de Talend Data Stewardship. Des arbitres de données autorisés peuvent intervenir sur l'échantillon de données et décider si les paires suspectes sont des doublons.

Vous pouvez utiliser l'échantillon libellé afin de calculer un modèle de rapprochement et l'appliquer à tous les doublons suspects, dans le contexte de l'apprentissage automatique dans Spark.

Avant de configurer le Job, vérifiez que :
  • dans Talend Administration Center, un rôle Campaign Owner doit vous avoir été assigné, ce qui vous permet d'accéder aux campagnes du serveur.

  • vous avez créé la campagne Grouping dans Talend Data Stewardship et avez défini le schéma correspondant à la structure du fichier des centres d'éducation.

    Pour plus d'informations, consultez Ajout d'une campagne Grouping pour identifier les paires de doublons.