Configurer les composants - 7.1

Deduplication

Version
7.1
Language
Français (France)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Composants Data Quality > Composants de dédoublonnage
Gouvernance de données > Systèmes tiers > Composants Data Quality > Composants de dédoublonnage
Qualité et préparation de données > Systèmes tiers > Composants Data Quality > Composants de dédoublonnage

Procédure

  1. Double-cliquez sur le composant nommé People pour afficher sa vue Basic settings.
    Avertissement :

    La fonctionnalité de schéma dynamique est supportée uniquement en mode Built-In et requiert une ligne d'en-tête dans le fichier d'entrée.

  2. Cliquez sur le bouton [...] près du champ File Name/Stream pour parcourir votre système jusqu'à votre fichier d'entrée.
  3. Définissez les lignes d'en-tête et de pied de page. Dans ce scénario, la première ligne du fichier d'entrée est l'en-tête.
  4. Cliquez sur Edit schema pour définir le schéma de ce composant.
    Dans ce scénario, le fichier d'entrée contient cinq colonnes : FirstName, LastName, HouseNo, Street, et City. Toutefois, comme vous allez profiter de l'option de schéma dynamique, vous n'aurez à définir qu'une seule colonne, ici nommée Dyna.
    Pour ce faire :
    1. Ajoutez une nouvelle ligne en cliquant sur le bouton [+].
    2. Dans le champ Column, saisissez Dyna.
    3. Dans la liste Type, choisissez Dynamic.
    4. Cliquez sur OK pour propager les changements et fermer la boîte de dialogue Schema.
  5. Double-cliquez sur le composant nommé Split_Column pour afficher sa vue Basic settings.
    Ce composant vous servira à séparer la colonne du schéma d'entrée en deux colonnes : une pour le prénom et l'autre pour les informations concernant la famille. Pour ce faire :
    1. Cliquez sur Edit schema pour ouvrir la boîte de dialogue Schema.
    2. Dans le panneau Output, sur la droite, cliquez sur le bouton [+] pour ajouter deux colonnes dans le schéma de sortie et appelez-les respectivement FirstName et FamilyInfo.
    3. Choisissez String dans la liste Type de la colonne FirstName pour extraire cette colonne du schéma d'entrée et prendre en compte le nom de chaque personne sur la liste des noms.
    4. Sélectionnez Dynamic dans la liste Type afin que la colonne FamilyInfo récupère le reste des informations de chaque personne de la liste : le nom, le numéro de la maison, la rue et la ville, qui ensemble constituent l'identification de la famille.
    5. Cliquez sur OK pour propager les changements et fermer la boîte de dialogue Schema.
  6. Double-cliquez sur le composant nommé Deduplicate pour afficher sa vue Basic settings.
  7. Dans la zone Unique key, cochez la case Key attribute pour la colonne FamilyInfo afin de dédoublonner les informations concernant la famille.
  8. Dans la vue Basic settings du tFileOutputDelimited nommé Deduplicated_Families, définissez le chemin d'accès au fichier de sortie, cochez la case Include header et laissez les autres paramètres tels qu'ils sont.
  9. Dans la vue Basic settings du composant tLogRow, nommé Duplicated_Families, sélectionnez l'option Table pour visualiser les résultats de l'exécution du Job en mode tableau.