Scénario : Faire une correspondance floue entre deux colonnes et écrire les données rejetées - 6.3

Composants Talend Guide de référence

EnrichVersion
6.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Ce scénario Java décrit un Job à cinq composants dont le but est : en premier lieu, de vérifier la distance d'édition entre la colonne IdClient d'un fichier d'entrée, par rapport aux données du fichier de référence d'entrée, et, ensuite, de vérifier tous les e-mails par prononciation dans la colonne Email, par rapport aux données du fichier d'entrée de référence. Les sorties de ces deux types de correspondances sont écrits dans des fichiers distincts.

Dans ce scénario, vous avez déjà stocké les schémas d'entrée et les fichiers de référence dans le Repository. Pour plus d'informations à propos du stockage de métadonnées dans l'arborescence du Repository, consultez le Guide utilisateur du Studio Talend.

Configurer le Job

  1. Dans l'arborescence du Repository, développez le nœud Metadata ainsi que le nœud des fichiers (File) où vous avez stocké les schémas d'entrée, et glissez la métadonnée correspondante dans l'espace de modélisation graphique.

    La boîte de dialogue [Components] s'ouvre.

  2. Sélectionnez tFileInputDelimited dans la liste et cliquez sur OK afin de fermer la boîte de dialogue.

    Le composant tFileInputDelimited apparaît dans l'espace de modélisation. Le fichier d'entrée utilisé dans ce scénario est appelé ClientSample. Il contient douze colonnes, y compris les deux colonnes IdCient et Email sur lesquelles vous voulez appliquer la correspondance floue.

  3. Répétez l'opération pour le deuxième fichier d'entrée que vous souhaitez utiliser comme référence, ClientSample_Update dans ce scénario.

  4. Glissez les composants suivants de la Palette dans l'espace de modélisation graphique : tFuzzyJoin, tFileOutputExcel, et tFileOutputDelimited.

  5. Connectez les fichiers principal et de référence au tFuzzyJoin à l'aide de liens Main Row. Le lien principal entre le fichier de référence et le tFuzzyJoin s'affiche comme un lien Lookup (de référence) dans l'espace de modélisation.

  6. Connectez le tFuzzyJoin au tFileOutputExcel à l'aide d'un lien Main, et le tFuzzyJoin au tFileOutputDelimited avec un lien Inner join reject.

  7. Au besoin, double-cliquez sur les fichiers d'entrée principal et de référence afin d'afficher leur vue Basic settings. Toutes les propriétés sont automatiquement renseignées. Si vous ne définissez pas vos fichiers d'entrée dans le Repository, remplissez les champs manuellement, après avoir sélectionné Built-in dans le champ Property Type.

Configurer le composant tFuzzyJoin

  1. Double-cliquez sur le tFuzzyJoin afin d'afficher sa vue Basic settings et définir des propriétés.

  2. Cliquez sur le bouton Edit schema pour ouvrir une boîte de dialogue qui affiche la structure des données des fichiers d'entrée, et définir les donnéese que vous voulez passer aux composants de sortie, deux colonnes dans ce scénario, IdClient et Email.

  3. Cliquez sur OK pour fermer la boîte de dialogue.

  4. Sous le tableau Key definition de la vue Basic settings du tFuzzyJoin, cliquez sur le bouton [+] afin d'ajouter deux colonnes à la liste, puis sélectionnez les colonnes d'entrée et de sortie sur lesquelles vous voulez appliquer la correspondance floue, depuis les listes Input key attribute et Lookup key attribute, respectivement IdClient and Email dans cet exemple.

  5. Cliquez sur la première cellule de la colonne Matching type, et sélectionnez dans la liste la méthode à utiliser afin de vérifier les données entrant, par rapport aux données de référence. Dans ce scénario, Levenshtein est le type de correspondance devant être utilisé.

  6. Paramétrez ensuite les distances minimale et maximale. Dans cette méthode, la distance est le nombre de modifications devant être apporté aux caractères (insertion, suppression ou substitution) afin de correspondre entièrement aux références. Dans cet exemple, l'objectif est de faire en sorte que la distance minimale soit égale à 0 et que la distance maximale soit égale à 2. Cela conduira à l'écriture des toutes les entrées dans IdClient qui correspondent exactement ou qui ont, au maximum, deux caractères modifiés.

    Note

    Vous pouvez créer et stocker des variables de contexte pour les distances minimale et maximale, et faire en sorte que votre Job fasse une boucle sur ces valeurs, en commençant par la valeur maximale inférieure de correspondance et terminant par la valeur maximale supérieure afin de correspondre au plus grand nombre de lignes possible. Vous pouvez appuyer sur Ctrl+Espace pour accéder à la liste des variables et sélectionner les nouvelles variables de contexte. Pour plus d'informations à propos des variables de contexte, consultez le Guide utilisateur du Studio Talend

  7. Paramétrez le type de correspondance pour la seconde colonne qui sera vérifiée, Metaphone dans cet exemple. Il n'y a ni distance minimale, ni distance maximale à paramétrer, car cette méthode de correspondance est basée sur les divergences phonétiques entre les données d'entrée et de référence.

  8. Cochez la case Inner join (with reject output) pour définir l'une des sorties comme table des rejets de la jointure interne.

Configurer le composant de sortie

  1. Double-cliquez sur le tFileOutputExcel afin d'afficher sa vue Basic settings et définir ses propriétés.

  2. Paramétrez le répertoire de destination ainsi que le nom de la feuille (Sheet name), et cochez la case Include header.

  3. Double-cliquez sur le tFileOutputDelimited afin d'afficher sa vue Basic settings et définir ses propriétés.

  4. Paramétrez le répertoire de destination ainsi que les séparateurs de lignes et de champs, puis cochez la case Include header.

Sauvegarder et exécuter le Job

Sauvegardez votre Job, et cliquez sur F6 pour l'exécuter.

La sortie de la correspondance Levenshtein de la colonne IdClient est écrite dans le fichier Excel défini, et la sortie de la correspondance du métaphone de la colonne Email est écrite dans le fichier délimité défini.