tSortRow - 6.1

Composants Talend Open Studio Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Fonction

Ce composant trie les données d'entrée basées sur une ou plusieurs colonnes, selon un type de tri et un ordre.

Objectif

Il permet d'établir des métriques et des tables de classification.

Propriétés du tSortRow

Famille du composant

Processing

 

Basic settings

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Cliquez sur Edit schema pour modifier le schéma. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to Built-In property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, sélectionnez No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

Cliquez sur Sync columns pour récupérer le schéma du composant précédent dans le Job.

 

 

Built-In : Le schéma est créé et conservé ponctuellement pour ce composant seulement. Voir également le Guide utilisateur du Studio Talend.

 

 

Repository : Le schéma existe déjà et il est stocké dans le Repository. Ainsi, il peut être réutilisé. Voir également le Guide utilisateur du Studio Talend.

 

Criteria

Cliquez sur [+] pour ajouter autant de lignes que nécessaire pour mettre en place le tri. La première colonne définie dans le schéma est sélectionnée par défaut.

 

 

Schema column : Sélectionnez la colonne de votre schéma sur laquelle vous souhaitez baser votre tri. Notez que l'ordre est important car il détermine la priorité de tri.

 

 

Sort type : Numérique ou Alphabétique.

 

 

Order : Ordre ascendant ou descendant.

Advanced settings

Sort on disk

Personnalisez la mémoire utilisée de manière temporaire pour stocker les données de sortie.

Temp data directory path : Définissez le chemin d'accès au dossier dans lequel stocker les fichiers temporaires.

Create temp data directory if not exists : Cochez cette case afin de créer le dossier s'il n'existe pas.

Buffer size of external sort : Entrez la taille de la mémoire physique à allouer au processus de tri.

 

tStatCatcher Statistics

Cochez cette case pour collecter les données de log au niveau du composant.

Global Variables

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Ce composant manipule le flux de données et par conséquent requiert un composant en entrée et un composant en sortie. Il s'agit donc d'un composant intermédiaire.

Scénario : Trier des données

Le scénario suivant décrit un Job constitué de trois composants. Un composant tRowGenerator est utilisé pour créer des entrées de façon aléatoire. Ces entrées seront ensuite envoyées au composant tSortRow afin d'être triées selon une valeur définie. Dans ce scénario, le flux d'entrée contient des noms de vendeurs ainsi que leur volume de vente respectif et leur nombre d'années d'ancienneté dans l'entreprise. Le résultat de l'opération de tri est affiché dans la console Run.

  • Cliquez et déposez les trois composants requis pour ce scénario : tRowGenerator, tSortRow et tLogRow.

  • Connectez-les à l'aide de liens de type Row Main.

  • Dans le RowGenerator editor, définissez les valeurs qui seront créées de manière aléatoire et qui seront ensuite triées par le tSortRow. Pour plus d'informations concernant l'utilisation du tRowGenerator, consultez Propriétés du tRowGenerator.

  • Dans ce scénario, chaque vendeur est classé en fonction de la valeur de ses ventes (Sales) et de son ancienneté dans l'entreprise (YearsInComp).

  • Double-cliquez sur tSortRow pour afficher l'onglet Basic settings. Définissez la priorité de tri sur la valeur des ventes et, en second critère, sur l'ancienneté.

  • Utilisez le bouton [+] pour ajouter le nombre de lignes de critères requis. Paramétrez le type de tri, dans cet exemple, les deux critères sont de type numérique. Enfin, étant donné que la sortie est une classification, définissez l'ordre de tri comme descendant.

  • Dans l'onglet Advanced settings, cochez l'option Sort on disk pour modifier les paramètres de la mémoire temporaire. Dans le champ Temp data directory path, renseignez le chemin d'accès au dossier dans lequel vous voulez stocker les données temporaires. Dans le champ Buffer size of external sort, définissez la taille maximale de la mémoire tampon à allouer au traitement des données.

Avertissement

La valeur par défaut de la mémoire tampon est de 1000000 mais plus vous traitez un nombre important de lignes et/ou colonnes, plus cette valeur devra être élevée pour éviter l'interruption automatique du Job signifiée par le message d'erreur "out of memory".

  • Assurez-vous que ce flux est connecté au composant de sortie tLogRow, afin d'afficher le résultat dans la console Run.

  • Appuyez sur F6 pour exécuter le Job ou passez à la vue Run et cliquez sur le bouton Run. Le classement est d'abord basé sur la valeur des ventes puis sur le nombre d'années d'ancienneté.