tAggregateSortedRow

Composants Talend Open Studio Guide de référence

EnrichVersion
6.3
EnrichProdName
Talend Open Studio for Data Quality
Talend Open Studio for Big Data
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Open Studio for Data Integration
task
Gouvernance de données
Qualité et préparation de données
Création et développement
EnrichPlatform
Studio Talend

Fonction

Le composant tAggregateSortedRow agrège les données d'entrée triées pour la colonne de sortie, en se basant sur un ensemble d'opérations.

Objectif

Pour une meilleure agrégation des données, chaque colonne de sortie est configurée avec plusieurs lignes requises, les opérations à effectuer et la colonne d'entrée de laquelle proviennent les données.

Propriétés du tAggregateSortedRow

Famille du composant

Processing

Basic settings

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs qui sont traités et passés au composant suivant. Le schéma est soit local (Built-in), soit distant dans le Repository.

Depuis la version 5.6, les modes Built-In et Repository sont disponibles dans toutes les solutions de Talend.

Cliquez sur Edit schema pour modifier le schéma. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to Built-In property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

Cliquez sur Sync columns pour récupérer le schéma du composant précédent connecté dans le Job.

 

 

Built-in : Le schéma est créé et conservé pour ce composant seulement. Voir également le Guide utilisateur du Studio Talend.

 

 

Repository : Le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans divers projets et Job Designs. Voir également le Guide utilisateur du Studio Talend.

 

Input rows count

Spécifiez le nombre de lignes envoyé au composant tAggregateSortedRow.

Note

Si vous spécifiez une limite (dans le champ Limit) au nombre de lignes à traiter dans le composant d'entrée, vous devez utiliser cette même limite dans le champ Input rows count.

 

Group by

Définit les ensembles d'agrégation, dont les valeurs sont utilisées pour les calculs.

 

 

Output Column : Sélectionnez le libellé de colonne dans la liste fournie, basée sur la structure de schéma que vous avez définie. Vous pouvez ajouter autant de colonnes de sortie que vous le souhaitez afin d'affiner les agrégations.

Exemple : Sélectionnez Country (Pays) pour calculer la moyenne des valeurs pour chaque pays ou sélectionnez Country et Region pour comparer les résultats des régions d'un pays par rapport aux régions d'un autre pays.

 

 

Input Column : Faites la correspondance entre les libellés des colonnes d'entrée avec ceux des colonnes de sortie, dans le cas où vous souhaitez que les libellés du schéma de sortie soient différents du schéma d'entrée.

 

Operations

Sélectionnez le type d'opération à effectuer ainsi que la valeur à utiliser pour le calcul et le champ de sortie.

 

 

Output Column : Sélectionnez le champ de destination à partir de la liste déroulante.

 

 

Function : Choisissez l'opérateur parmi : count, min, max, avg, first, last.

 

 

Input column position : Sélectionnez la colonne d'entrée à partir de laquelle les valeurs sont récupérées avant d'être agrégées.

 

 

Ignore null values : Cochez cette case devant le nom de toutes les colonnes pour lesquelles vous voulez que les valeurs nulles soient ignorées.

Advanced settings tStatCatcher Statistics Cochez cette case pour collecter les données de log, aussi bien au niveau du Job qu'au niveau de chaque composant.

Global Variables

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

NB_LINE : nombre de lignes lues par un composant d'entrée ou passées à un composant de sortie. Cette variable est une variable After et retourne un entier.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Ce composant traite des flux de données, il nécessite donc des composants d'entrée et sortie. Il est donc défini en tant que composant intermédiaire.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Scénario : trier et agréger les données d'entrée

Ce scénario décrit un Job triant les entrées des données d'entrée selon deux colonnes et affiche les données triées dans la console, agrège les données triées à partir d'une colonne et affiche ces données agrégées dans la console.

Ajouter et relier les composants

  1. Créez un nouveau Job et ajoutez les composants suivants en saisissant leur nom dans l'espace de modélisation graphique ou en les déposant depuis la Palette dans l'espace de modélisation graphique : un tFixedFlowInput, un tSortRow, un tAggregateSortedRow et deux tLogRow.

  2. Reliez le tFixedFlowInput au tSortRow à l'aide d'un lien Row > Main.

  3. Répétez l'opération afin de relier le tSortRow au premier tLogRow, reliez le premier tLogRow au tAggregateSortedRow et reliez le tAggregateSortedRow au second tLogRow.

Configurer les composants

Trier les données d'entrée

  1. Double-cliquez sur le tFixedFlowInput pour ouvrir sa vue Basic settings.

  2. Cliquez sur le bouton [...] à côté du champ Edit schema et, dans la fenêtre qui s'ouvre, définissez le schéma en ajoutant quatre colonnes : Id et Age de type Integer, ainsi que Name et Team de type String.

    Cliquez sur OK pour fermer l'éditeur de schéma. Acceptez la propagation proposée par la boîte de dialogue qui s'ouvre.

  3. Dans la zone Mode, sélectionnez Use Inline Content(delimited file) et, dans le champ Content affiché, saisissez les données d'entrée à trier et agréger. Dans cet exemple, les données d'entrée se présentent comme suit :

    1;Thomas;28;Component Team
    2;Harry;32;Doc Team
    3;John;26;Component Team
    4;Nicolas;27;QA Team
    5;George;24;Component Team
    6;Peter;30;Doc Team
    7;Teddy;23;QA Team
    8;James;26;Component Team
  4. Double-cliquez sur le tSortRow pour ouvrir sa vue Basic settings.

  5. Cliquez sur le bouton [+] sous la table Criteria pour ajouter autant de lignes que nécessaire et spécifiez les critères de tri dans la table. Dans cet exemple, deux lignes sont ajoutées et les entrées sont triées selon les colonnes Team et Age, les deux en ordre ascendant.

  6. Double-cliquez sur le premier tLogRow pour afficher sa vue Basic settings.

  7. Dans la zone Mode, sélectionnez Table (print values in cells of a table) pour une meilleure lisibilité des résultats de tri.

Agréger les données triées

  1. Double-cliquez sur le tAggregateSortedRow pour ouvrir sa vue Basic settings.

  2. Cliquez sur le bouton [...] à côté du champ Edit schema et, dans la fenêtre qui s'ouvre, définissez le schéma en ajoutant cinq colonnes : AggTeam de type String, AggCount, MinAge, MaxAge et AvgAge de type Integer.

    Cliquez sur OK pour fermer l'éditeur de schéma et acceptez la propagation proposée pour la boîte de dialogue.

  3. Dans le champ Input rows count, saisissez le nombre exact de lignes de données d'entrée. Dans cet exemple, saisissez 8.

  4. Cliquez sur le bouton [+] sous la table Group by pour ajouter autant de lignes que nécessaire et spécifier l'ensemble d'agrégation dans la table. Dans cet exemple, les données sont agrégées selon la colonne Team.

  5. Cliquez sur le bouton [+] sous la table Operations pour ajouter autant de lignes que nécessaire. Spécifiez l'opération à effectuer, ainsi que la colonne d'entrée correspondant de laquelle prendre les données pour chaque colonne de sortie. Dans cet exemple, vous allez calculer le nombre d'entrées, l'âge minimal, l'âge maximal et l'âge moyen pour chaque équipe.

  6. Double-cliquez sur le second tLogRow pour ouvrir sa vue Basic settings.