tHMap - 6.3

Composants Talend Guide de référence

EnrichVersion
6.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Avertissement

Ce composant est disponible dans la Palette du Studio Talend si vous avez souscrit à l'un des produits Talend Platform.

Fonction

Le composant tHMap transforme des données de multiples sources vers de multiples destinations. Si vous souhaitez utiliser différentes entrées et/ou sorties, vous devez utiliser les fonctions I/O de Talend Data Mapper. Pour plus d'informations, consultez le Guide utilisateur de Talend Data Mapper.

Objectif

Le tHMap exécute des transformations (appelées mappings) entre différentes sources et destinations, en tirant parti des fonctionnalités de Talend Data Mapper, disponibles dans la perspective Mapping.

Propriétés du tHMap

Famille du composant

Processing

 

Basic settings

Open Map Editor

Cliquez sur le bouton [...] afin d'ouvrir l'assistant tHMap Structure Generate/Select dans lequel vous pouvez obtenir une structure de mappeur hiérarchique générée automatiquement à partir du schéma ou sélectionner un structure de mappeur hiérarchique existante. Vous devez effectuer cette action pour l'entrée et la sortie du mappeur.

 

Map Path

Spécifiez le mapping à effectuer.

Si le mapping a été créé à partir de l'assistant décrit précédemment, le chemin est automatiquement configuré.

Si vous souhaitez utiliser un mapping existant, cliquez sur le bouton [...] à côté du champ Map Path pour ouvrir une boîte de dialogue. Dans laquelle vous pouvez sélectionner le mapping à utiliser. Cliquez sur le bouton [...] à côté du Open Map Editor pour travailler sur le mapping sélectionné. Notez que ce mapping doit avoir été précédemment créé dans la perspective Mapping.

Read Input As

Sélectionnez le bouton radio correspondant à la manière dont vous souhaitez que l'entrée soit lue. Selon votre mapping, seules certaines options peuvent être disponibles.

  • Data Integration columns (défaut) : utilisez cette option si vous travaillez avec les métadonnées d'intégration de données Talend.

  • Single column : utilisez cette option si vous travaillez avec les métadonnées de Talend Data Mapper.

Write Output As

Sélectionnez le bouton radio correspondant à la manière dont vous souhaitez écrire la sortie. Selon votre mapping, seules certaines options peuvent être disponibles.

  • Data Integration columns (défaut) : utilisez cette option si vous travaillez avec les métadonnées d'intégration de données Talend.

  • String (single column) : utilisez cette option si les données de la colonne de sortie sont de type String.

  • Byte array (single column) : utilisez cette option si les données de la colonne de sortie sont de type Byte array.

  • InputStream (single column) : utilisez cette option si vous travaillez avec les métadonnées de Talend Data Mapper et que les données d'entrée sont un flux.

  • Document (single column) : utilisez cette option si la colonne de sortie est de type Document.

Log Level

Dans la liste déroulante, sélectionnez la fréquence d'enregistrement des événements.

  • Infrequent : enregistre seulement les événements liés au démarrage, à l'arrêt et aux exceptions.

  • Frequent (défaut) : enregistre les événements liés au démarrage, à l'arrêt, aux exceptions, ainsi qu'un événement par exécution de mapping.

  • Info : enregistre tous les événements de niveau info ou supérieur.

  • All : enregistre tous les événements.

  • None : n'enregistre rien.

Advanced settings

Map Variable

Dans ce champ, saisissez une variable de contexte que vous pouvez utiliser pour définir le chemin relatif vers un mapping. Par exemple, si vous saisissez ${context.mymapfile}, mymapfile peut alors pointer vers différents fichiers de mapping lors de l'exécution. Cela peut être utile si vous souhaitez utiliser différents mappings sans avoir à créer un nouveau Job à chaque fois.

Dans l'onglet Contexts, la valeur doit être un chemin relatif. Par exemple, si vous avez un mapping nommé mapA dans le dossier Maps/FolderA, votre variable de contexte doit avoir la valeur "FolderA/mapA.xml". L'extension est nécessaire car il s'agit d'une référence à un fichier dans le système de fichiers.

Notez que tous les mappings qui peuvent être référencés par la variable de contexte doivent être présents dans le même projet. Ainsi, lorsque qu'il est construit, le Job contient tous les mappings candidats et il est possible de passer d'un mapping à un autre lors de l'exécution.

Pour plus d'informations concernant les variables de contexte, consultez le Guide utilisateur du Studio Talend.

 

Map each row (disable virtual component)

Cochez cette case pour que le tHMap traite l'entrée comme une seule ligne de sortie. Cela empêche le tHMap de mettre en mémoire tampon les lignes d'entrée avant de les passer en aval.

Cela peut être utile, par exemple, lorsque vous utilisez le composant tHMap avec un tSAPIDocReceiver en entrée et un composant prenant un schéma en compte en sortie, car dire au tSAPIDocReceiver de continuer à écouter indéfiniment empêcherait des lignes d'être passées.

Exception Threshold

Talend Data Mapper retourne un statut d'exécution et une valeur de sévérité pouvant être de niveau OK, Info, Warning, Error ou Fatal. En configurant le seuil d'exception, vous pouvez spécifier le niveau de sévérité auquel est retournée une exception et permettre aux composants suivants de détecter les erreurs dans les cas où la valeur n'est pas celle par défaut, Fatal.

Dans la liste déroulante, sélectionnez le niveau de sévérité auquel une exception est retournée durant l'exécution d'un mapping.

  • Fatal (défaut) : une exception est retournée lorsqu'une erreur fatale (Fatal) survient.

  • Error : une exception est retournée lorsqu'une erreur (de niveau Error ou supérieur) survient.

  • Warning : une exception est retournée lorsqu'un avertissement (Warning ou une erreur de niveau supérieur) survient.

Notez que pour vous aider à diagnostiquer les problèmes de votre mapping, lorsque vous testez ce mapping dans votre Studio, chaque erreur de niveau Warning ou supérieur est écrite dans la vue console, peu importe le réglage défini dans l'option Exception Threshold.

Advanced settingstStatCatcher Statistics

Cochez cette case pour collecter les données de log au niveau du Job, ainsi qu'au niveau de chaque composant.

Global Variables

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

EXECUTION_STATUS : Récupère le pointeur pointant vers l'objet ExecutionStatus, retourné lorsque le tHMap exécute un mapping Talend Data Mapper. Cette variable est une variable After et retourne une chaîne de caractères.

EXECUTION_SEVERITY : Récupère la valeur numérique de Overall Severity. Cette variable est une variable After et retourne un entier.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Le composant tHMap est utilisé pour les Jobs nécessitant un mapping de données complexes provenant de différentes sources.

Les connexions d'entrée et de sortie peuvent utiliser les métadonnées de Talend Data Mapper, de la solution d'intégration de données Talend ou une combinaison des deux. Chaque connexion est indépendante.

Lorsque vous ouvrez l'éditeur de mapping pour la première fois pour chaque connexion, il peut générer une définition de structure Talend Data Mapper basée sur le schéma d'un composant de la solution d'intégration de données Talend, ou vous permettre de sélectionner une structure Talend Data Mapper si vous utilisez les métadonnées de Talend Data Mapper. L'éditeur crée un mapping avec la structure sélectionnée ou générée.

Lorsque vous exécutez des Jobs qui contiennent un composant tHMap dans le Runtime, assurez-vous que Talend Data Mapper a bien été déployé dans le Runtime.

Ce composant peut être utilisé de plusieurs manières :

Limitation

n/a

Note

Pour plus d'informations concernant les transformations à l'aide de Talend Data Mapper, consultez le Guide utilisateur de Talend Data Mapper.

Scénario 1 : Utiliser les métadonnées de Talend Data Mapper

Le scénario suivant crée un Job à trois composants, lisant les données d'un fichier d'entrée transformé à l'aide d'un mapping précédemment créé dans la perspective Mapping et écrit en sortie les données transformées dans un nouveau fichier. Il fonctionne avec les métadonnées de Talend Data Mapper.

Copier une version modifiable des fichiers d'exemple

  1. Dans la perspective Mapping, dans la vue Data Mapper, développez le nœud Hierarchical Mapper et le dossier Other Projects, cliquez-droit sur Examples et sélectionnez Copy dans le menu contextuel.

  2. Dans la vue Data Mapper, cliquez-droit à la racine du nœud Hierarchical Mapper puis sélectionnez Paste dans le menu contextuel.

    Cela copie une version modifiable de tous les fichiers d'exemple en lecture seule dans votre Workspace local.

Ajouter et relier les composants

  1. Dans la perspective Integration, créez un nouveau Job et nommez-le tdm_to_tdm.

  2. Cliquez sur l'emplacement, dans l'espace de modélisation graphique, où vous souhaitez ajouter le premier composant. Commencez à saisir tFileInputRaw puis cliquez sur le nom du composant lorsqu'il apparaît dans la liste proposée, afin de le sélectionner.

  3. Répétez l'opération pour ajouter un composant tHMap et un tFileOutputRaw.

  4. Reliez le tFileInputRaw au composant tHMap à l'aide d'un lien Row > Main. Renommez le lien input puis connectez le composant tHMap au tFileOutputRaw à l'aide d'un lien Row > Main. Nommez ce lien output. Lorsque le Studio vous propose d'obtenir le schéma du composant cible, cliquez sur Yes.

Configurer les propriétés du tFileInputRaw

  1. Sélectionnez le tFileInputRaw afin de configurer ses propriétés.

  2. Dans l'onglet Basic settings, cliquez sur le bouton [...] à côté du champ Filename puis parcourez votre système jusqu'au fichier d'entrée. Vous pouvez également saisir son chemin manuellement entre guillemets doubles. Dans cet exemple, utilisez <PATH_TO_WORKSPACE>/<PROJECT_NAME>/Sample Data/CSV/PurchaseOrderPayPal/PayPalPO.csv.

  3. Dans la zone Mode sélectionnez Read the file as a string et laissez les autres champs tels quels.

Configurer les propriétés du tFileOutputRaw

  1. Sélectionnez le composant tFileOutputRaw afin de définir ses propriétés.

  2. Dans l'onglet Basic settings, cliquez sur le bouton [...] puis parcourez votre système jusqu'à l'emplacement où se trouvera le fichier de sortie, ou saisissez manuellement le chemin entre guillemets doubles. Laissez les autres paramètres tels qu'ils sont.

Configurer les propriétés du tHMap

  1. Sélectionnez le composant tHMap afin de définir ses propriétés.

  2. Cliquez sur le bouton [...] à côté du champ Map Path pour ouvrir la boîte de dialogue et sélectionnez le mapping à utiliser, Maps/CSV/POPayPalCsv_PO2, puis cliquez sur OK. Ce mapping transforme un fichier CSV en un fichier XML.

  3. Dans la zone Read Input As, vérifiez que l'option Single Column est sélectionnée.

  4. Dans la zone Write Output As, vérifiez que l'option String (single column) est sélectionnée.

Sauvegarder et exécuter le Job

  1. Appuyez sur les touches Ctrl+S afin de sauvegarder votre Job.

  2. Dans l'onglet Run, cliquez sur le bouton Run pour exécuter le Job.

  3. Parcourez votre système jusqu'à l'emplacement où se trouve le fichier de sortie, afin de vérifier qu'un fichier XML contenant les mêmes données que le fichier CSV d'entrée a bien été créé.

Scénario 2 : Utiliser les métadonnées d'intégration de données Talend

Le scénario suivant crée un Job à trois composants, lisant des données d'un fichier d'entrée, transformées via un mapping créé dans la perspective Mapping et écrivant en sortie les données transformées dans un nouveau fichier. Le Job utilise les métadonnées d'intégration de données Talend.

Copier une version modifiable des fichiers d'exemple

  1. Dans la perspective Mapping, dans la vue Data Mapper, développez le nœud Hierarchical Mapper et, dans le dossier Other Projects, cliquez-droit sur Examples et sélectionnez Copy dans le menu contextuel.

  2. Dans la vue Data Mapper, cliquez-droit à la racine du nœud Hierarchical Mapper puis sélectionnez Paste dans le menu contextuel.

    Cela copie une version modifiable de tous les fichiers d'exemple en lecture seule, dans votre Workspace local.

Ajouter et relier les composants

  1. Dans la perspective Integration, créez un nouveau Job standard et nommez-le di_to_di.

  2. Cliquez sur l'emplacement où vous souhaitez ajouter le premier composant, dans l'espace de modélisation graphique, commencez à saisir tFileInputDelimited puis cliquez sur le nom du composant lorsqu'il apparaît dans la liste proposée, afin de le sélectionner.

  3. Répétez l'opération pour ajouter un tHMap et un tFileOutputXML.

  4. Reliez le tFileInputDelimited au tHMap à l'aide d'un lien Row > Main puis reliez le composant tHMap au tFileOutputXML à l'aide d'un lien Row > Main.

Configurer les propriétés du tFileInputDelimited

  1. Sélectionnez le composant tFileInputDelimited pour configurer ses propriétés.

  2. Dans l'onglet Basic settings, cliquez sur le bouton [...] à côté du champ Filename/Stream puis parcourez votre système de fichiers jusqu'à l'emplacement où est stocké le fichier Excel d'entrée, ou saisissez manuellement le chemin entre guillemets doubles. Dans cet exemple, utilisez <PATH_TO_WORKSPACE>/<PROJECT_NAME>/Sample Data/CSV/PurchaseOrderPayPal/PayPalPO.csv.

  3. Cochez la case CSV options.

  4. Dans le champ Field Separator, saisissez une virgule entre guillemets doubles (",").

  5. Dans le champ Header, saisissez 1.

  6. Cliquez sur le bouton [...] à côté du champ Edit schema afin de définir le schéma.

  7. Ajoutez trois colonnes et nommez-les txn_id, payment_date et first_name : ces noms correspondent au nom des trois premières colonnes du fichier d'entrée et sont suffisantes pour l'objectif de cet exemple. Cliquez sur OK.

  8. Laissez les autres paramètres tels qu'ils sont.

Configurer les propriétés du tFileOutputXML

  1. Sélectionnez le composant tFileOutputXML pour paramétrer ses propriétés.

  2. Dans l'onglet Basic settings, cliquez sur le bouton [...] à côté du champ File Name puis parcourez votre système jusqu'à l'emplacement où sera stocké votre fichier de sortie, ou saisissez manuellement le chemin entre guillemets doubles.

  3. Cliquez sur le bouton [...] à côté du champ Edit schema afin de définir le schéma.

  4. Ajoutez trois colonnes dans le schéma d'entrée sur la gauche et nommez-les id, date et name, copiez-les vers le schéma de sortie sur la droite, puis cliquez sur OK.

  5. Laissez les autres éléments tels qu'ils sont.

Configurer le tHMap

  1. Sélectionnez le tHMap pour configurer ses propriétés.