Scénario 1 : Générer des clés fonctionnelles dans le flux de sortie - 6.3

Composants Talend Guide de référence

EnrichVersion
6.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Ce scénario comprend trois composants. Il décrit un Job simple qui génère une clé fonctionnelle pour chaque enregistrement de données utilisant un algorithme sur l'une des colonnes d'entrée, PostalCode.

Cette clé fonctionnelle peut être utilisée de différentes façons, afin de réduire le nombre de résultats d'un filtre sur les données ou d'une correspondance de données, par exemple. Le composant tGenKey peut être utilisé avec de nombreux composants de qualité ou d'intégration de données, lors d'utilisations variées. Pour un exemple d'utilisation du tGenKey, consultez Scénario 2 : Comparer les colonnes et regrouper dans le flux de sortie les enregistrements en doublon ayant la même clé fonctionnelle.

Dans ce scénario, le flux de données d'entrée se compose de quatre colonnes : Firstname, Lastname, DOB, et PostalCode (Prénom, Nom, Date de naissance et Code postal). Ces données contiennent des problèmes, comme des doublons, des prénoms ou des noms écrits différemment ou mal orthographiés, des informations différentes sur un même client, etc. Ce scénario génère une clé fonctionnelle pour chaque enregistrement de données utilisant un algorithme qui concatène les deux premiers caractères du code postal.

Construire le Job

  1. Déposez les composants suivants de la Palette dans l'espace de modélisation graphique : tFixedFlowInput, tGenKey et tLogRow.

  2. Connectez les composants à l'aide de liens Row > Main.

Configurer les données d'entrée

  1. Double-cliquez sur le tFixedFlowInput afin d'afficher sa vue Basic settings et de définir ses propriétés.

  2. Cliquez sur le bouton [...] à côté du champ Edit Schema pour ouvrir la boîte de dialogue [Schema].

  3. Cliquez sur le bouton [+] pour ajouter autant de lignes que nécessaire au schéma d'entrée que vous souhaitez créer, à partir de variables internes.

    Dans cet exemple, le schéma se compose de quatre colonnes : Firstname, Lastname, DOB et PostalCode.

    Cliquez sur OK pour fermer la boîte de dialogue.

  4. Dans la zone Mode, sélectionnez l'option Use Inline Table.

    Le tableau Value s'affiche en tant que Inline Table.

  5. Cliquez sur le bouton [+] pour ajouter autant de lignes que nécessaire puis cliquez sur chacune d'entre elles pour définir les données d'entrée des quatre colonnes.

Configurer la génération de clé

  1. Double-cliquez sur le tGenKey pour afficher sa vue Basic settings et définir ses propriétés.

    Cliquez sur le bouton pour importez les clés de bloc à partir des règles de mise en correspondance créées avec l'algorithme VSR et testées dans la perspective Profiling du Studio Talend et les utiliser dans votre Job. Sinon, vous pouvez également configurer les paramètres des clés de bloc comme décrit dans les étapes ci-dessous.

  2. Sous le tableau Algorithm, cliquez sur le bouton [+] afin d'ajouter une ligne.

  3. Dans la colonne column, cliquez sur la nouvelle ligne et sélectionnez dans la liste la colonne sur laquelle vous souhaitez appliquer l'algorithme. Dans cet exemple, sélectionnez PostalCode.

    Note

    Lorsque vous sélectionnez une colonne de dates sur laquelle appliquer un algorithme ou un algorithme de mise en correspondance, vous pouvez choisir ce que vous souhaitez comparer dans le format de date.

    Par exemple, si vous souhaitez comparer uniquement l'année, attribuez le type Date à la colonne concernée dans le schéma du composant puis saisissez "yyyy" dans le champ Date Pattern. Le composant convertit le format de date en une chaîne de caractères, selon le modèle défini dans le schéma, avant de comparer les chaînes de caractères.

  4. Cochez la case Show help afin d'afficher les instructions concernant la définition des paramètres des algorithmes et des options.

  5. Dans la colonne algorithm, cliquez sur la nouvelle ligne et sélectionnez dans la liste l'algorithme que vous souhaitez appliquer à la colonne correspondante. Dans cet exemple, sélectionnez first N characters of the string.

  6. Cliquez sur la colonne Value et saisissez la valeur de l'algorithme sélectionné, si besoin. Dans ce scénario, saisissez 2.

    Dans cet exemple, générez une clé fonctionnelle contenant les deux premiers caractères du code postal pour chaque ligne de données, et ne définissez aucune option supplémentaire pour ces colonnes.

    Assurez-vous de définir une valeur pour l'algorithme qui en a besoin, autrement le Job s'exécute avec une erreur de compilation.

Après avoir paramétré le composant tGenKey, vous pouvez afficher une vue statistique de ces paramètres. Pour ce faire :

  • Cliquez-droit sur le composant tGenKey et sélectionnez View Key Profile dans le menu contextuel.

    L'éditeur View Key Profile s'affiche et vous permet de visualiser les statistiques du nombre de lignes par blocs et d'adapter les paramètres selon le résultat que vous souhaitez obtenir.

    Lors du traitement de données volumineuses et lorsque ce composant est utilisé pour partitionner les données afin de les utiliser dans un composant de mise en correspondance (tRecordMatching ou tMatchGroup par exemple), il est préférable d'avoir un nombre restreint de lignes par blocs. La configuration est considérée comme optimale autour de 50 lignes par blocs, mais cela dépend du nombre de champs à comparer, du nombre total de lignes et du temps considéré comme acceptable pour le traitement des données.

    Pour un exemple d'utilisation de l'option View Key Profile, consultez Scénario 2 : Comparer les colonnes et regrouper dans le flux de sortie les enregistrements en doublon ayant la même clé fonctionnelle

Configurer l'écriture en sortie

  1. Double-cliquez sur le composant tLogRow afin d'afficher sa vue Basic settings et définir ses propriétés.

  2. Dans la zone Mode, sélectionnez l'option Table pour afficher les résultats d'exécution du Job sous forme de tableau.

Exécuter le Job

  • Sauvegardez votre Job et appuyez sur F6 pour l'exécuter.

Toutes les colonnes de sortie comprenant la colonne T_GEN_KEY sont listées dans la console de la vue Run. La clé fonctionnelle pour chaque enregistrement de données concatène les deux premiers caractères de la valeur correspondante dans la colonne PostalCode.