Scénario : Fusionner le contenu de plusieurs lignes en utilisant différentes colonnes comme valeur de rang - 6.3

Composants Talend Guide de référence

EnrichVersion
6.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Ce scénario décrit un Job utilisant un composant tSurviveFields pour fusionner selon différentes valeurs de rang le contenu de lignes de données dans différentes colonnes et écrire le résultat dans un fichier de sortie.

Dans ce scénario, vous avez déjà stocké les schémas d'entrée de fichier d'entrée dans le Repository. Pour plus d'informations à propos du stockage de métadonnées de schéma dans le Repository, consultez le Guide utilisateur du Studio Talend.

Le fichier d'entrée contient quatre colonnes : grp, gender, firstname et count. Les données contiennent des erreurs, comme des doublons, des prénoms dont l'orthographe est fausse ou diffère, ainsi que des informations différentes pour le même client.

Construire le Job

  1. Dans la vue Repository, cliquez sur Metadata > File Excel, et glissez les schémas d'entrée que vous avez stockés, dans l'espace de modélisation graphique.

    Le composant tFileInputExcel contenant votre schéma s'affiche dans l'espace de travail.

  2. Glissez un composant tSurviveFields et un composant tFileOutputExcel de la Palette dans l'espace de modélisation graphique.

  3. Reliez les composants à l'aide de liens Row > Main.

Configurer les composants

  1. Double-cliquez sur le tFileInputExcel afin d'afficher sa vue Component.

    Tous les propriétés sont automatiquement renseignées. Si vous n'avez pas défini vos schémas d'entrée localement, dans le Repository, remplissez les informations manuellement, après avoir sélectionné Built-In dans les listes Property Type et Schema.

  2. Double-cliquez sur le tSurviveFields afin d'afficher sa vue Component et définir ses propriétés.

  3. Cliquez sur le bouton Sync columns afin de récupérer le schéma du composant précédent. Vous pouvez cliquer sur le bouton [...] à côté du champ Edit schema, afin de voir le schéma.

  4. Dans le tableau Key, cliquez sur le bouton [+] afin d'ajouter une nouvelle ligne puis cliquez sur la ligne et sélectionnez dans la liste la colonne que vous voulez utiliser pour fusionner les données.

    Vous pouvez sélectionner plusieurs colonnes comme ensemble d'agrégation, si vous souhaitez fusionner les données selon plusieurs critères. Dans ce scénario, l'objectif est d'utiliser la colonne grp pour fusionner les données.

  5. Dans le tableau Operations, cliquez sur le bouton [+] pour ajouter de nouvelles lignes. Vous pouvez définir les colonnes de sortie qui contiendront les résultats de l'opération de fusion. Dans ce scénario, l'objectif est de fusionner les données de trois colonnes, firstname, gender et count.

  6. Cliquez sur la première ligne de la colonne Output column, et sélectionnez la première colonne de sortie qui contiendra les résultats de la fusion.

    • Cliquez sur la première ligne de la colonne Function, et sélectionnez l'opération de fusion que vous souhaitez effectuer.

    • Cliquez sur la première ligne de la colonne Input column, et sélectionnez la colonne à partir de laquelle vous souhaitez prendre les valeurs.

    • Cliquez sur la première ligne de la colonne Rank column, et sélectionnez la colonne qui sera utilisée comme base de l'opération de fusion.

    • Répétez le processus afin de définir les paramètres de l'opération de fusion pour toutes les colonnes que vous souhaitez écrire dans le fichier de sortie.

    L'objectif est de lire les données des colonnes d'entrée firstname et gender, et de n'écrire que les valeurs de la valeur maximale de rang (nombre de lignes) dans des colonnes de sortie firstname et gender. L'objectif est également de lire les données de la colonne d'entrée count, et d'écrire dans une colonne de sortie count les valeurs ayant le numéro de groupe (grp) le plus élevé.

  7. Double-cliquez sur le composant tFileOutputExcel pour ouvrir sa vue Basic settings.

  8. Spécifiez le chemin d'accès au fichier cible, cochez la case Include header et laissez les autres paramètres tels qu'ils sont.

Exécuter le Job

  • Sauvegardez votre Job et appuyez sur F6 afin de l'exécuter.

Une barre de progression s'affiche et montre les pourcentages effectués de l'opération de fusion. Lorsque la progression atteint les 100%, les données spécifiées sont regroupées et écrites dans les colonnes de sorties définies.

Le tableau ci-dessous montre un extrait des données de sortie après l'opération de fusion.