tNormalize - 6.1

Composants Talend Open Studio Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Fonction

Le composant tNormalize normalise un flux entrant en fonction du standard SQL.

Objectif

Le tNormalize permet d'améliorer la qualité de données et donc facilite la mise à jour des données.

Propriétés du tNormalize

Famille du composant

Processing/Fields

Basic settings

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Cliquez sur Edit schema pour modifier le schéma. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to Built-In property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, sélectionnez No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

 

 

Built-In : Le schéma est créé et conservé ponctuellement pour ce composant seulement. Voir également le Guide utilisateur du Studio Talend.

 

 

Repository : Le schéma existe déjà et il est stocké dans le Repository. Ainsi, il peut être réutilisé. Voir également le Guide utilisateur du Studio Talend.

 

Column to normalize

Sélectionnez la colonne du flux entrant sur laquelle est basée la normalisation.

 

Item separator

Renseignez le séparateur délimitant les données du flux entrant.

Note

Le séparateur d'éléments se base sur des expressions régulières. Par conséquent, le caractère "." (caractère spécial dans les expressions régulières) doit être évité ou utilisé avec prudence.

Advanced settings

 Get rid of duplicated rows from output

Cochez cette case pour supprimer les lignes doublons du flux de sortie.

Use CSV parameters

Cochez cette case pour prendre en compte les paramètres spécifiques aux fichiers CSV, notamment la manière de protéger les caractères dans le champ escape mode et le type de guillemet dans le champ enclosure.

 Discard the trailing empty strings

Cochez cette case pour ignorer les chaînes de caractères vides à la fin d'un groupe d'éléments.

 Trim resulting values

Cochez cette case pour supprimer les espaces en début et en fin de champ des données de résultat.

Note

Lorsque les cases Discard the trailing empty string et Trim resulting values sont cochées, le traitement de la première option s'effectue en premier.

 

tStatCatcher Statistics

Cochez cette case pour collecter les données de log au niveau du composant.

Global Variables

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

NB_LINE : nombre de lignes lues par un composant d'entrée ou passées à un composant de sortie. Cette variable est une variable After et retourne un entier.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Ce composant est généralement utilisé comme composant intermédiaire dans un flux de données.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Limitation

Du fait d'une incompatibilité de licence, un ou plusieurs Jar requis pour utiliser ce composant ne sont pas fournis. Vous pouvez installer les Jar manquants pour ce composant en cliquant sur le bouton Install dans l'onglet Component. Vous pouvez également trouver les Jar manquants et les ajouter dans l'onglet Modules de la perspective Integration de votre studio. Pour plus d'informations, consultez la page https://help.talend.com/display/KB/How+to+install+external+modules+in+the+Talend+products (en anglais) ou la section décrivant comment configurer le studio, dans le Guide d'installation et de migration Talend.

Scénario : Normaliser des données

Ce scénario illustre un Job qui normalise une liste de mots-clés des sujets d'un forum puis affiche les résultats dans un table dans la console de la vue Run.

Cette liste n'est pas vraiment organisée et contient des espaces vides en début en fin de champs, ainsi que des mots-clés répétés.

ldap,
  db2, jdbc driver,
grid computing,  talend architecture  ,
content, environment,,
tmap,,
eclipse,
database,java,postgresql,
tmap,
database,java,sybase,
deployment,,
repository,
database,informix,java

Construire le Job

  1. Cliquez et déposez les composants suivants dans l'espace de modélisation : tFileInputDelimited, tNormalize, tLogRow.

  2. Reliez les composants à l'aide de liens Row > Main.

Configurer les composants

  1. Double-cliquez sur le composant tFileInputDelimited, pour ouvrir sa vue Basic settings.

  2. Dans le champ File name, spécifiez le chemin d'accès au fichier d'entrée à normaliser.

  3. Cliquez sur le bouton [...] à côté du champ Edit schema afin d'ouvrir la boîte de dialogue [Schema] et configurez le schéma d'entrée en ajoutant une colonne nommée Tags. Cela fait, cliquez sur OK pour valider votre schéma et fermer la boîte de dialogue. Laissez les autres paramètres tels qu'ils sont.

  4. Double-cliquez sur le composant tNormalize pour ouvrir sa vue Basic settings.

  5. Vérifiez le schéma et, si nécessaire, cliquez sur le bouton Sync columns afin de synchroniser le schéma et le schéma du composant d'entrée.

  6. Définissez la colonne sur laquelle est basée la normalisation.

    Dans ce scénario, le schéma d'entrée possède une seule colonne, Tags. Acceptez donc les paramètres par défaut.

  7. Dans la vue Advanced settings, cochez les cases Get rid of duplicate rows from output, Discard the trailing empty strings et Trim resulting values.

  8. Dans les propriétés du composant tLogRow, sélectionnez le mode Table (print values in the cells of table).

Sauvegarder et exécuter le Job

  1. Appuyez sur les touches Ctrl+S afin de sauvegarder votre Job.

  2. Cliquez sur le bouton Run, dans la vue Run ou appuyez sur F6 pour exécuter votre Job.

La liste est nettoyée, les doublons, et les espaces vides sont supprimés. Le résultat est affiché dans un tableau dans la console.