Propriétés du tHMap Standard - 7.0

Data mapping

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data Platform
Talend Data Fabric
Talend Data Management Platform
Talend Data Services Platform
Talend MDM Platform
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Processing (Intégration) > Mapping de données
Gouvernance de données > Systèmes tiers > Composants Processing (Intégration) > Mapping de données
Qualité et préparation de données > Systèmes tiers > Composants Processing (Intégration) > Mapping de données
EnrichPlatform
Studio Talend

Ces propriétés sont utilisées pour configurer le tHMap s'exécutant dans le framework de Jobs Standard.

Le composant tHMap Standard appartient à la famille Processing.

Ce composant est disponible dans Talend Data Management Platform, Talend Big Data Platform, Talend Real Time Big Data Platform, Talend Data Services Platform, Talend MDM Platform et Talend Data Fabric.

Basic settings

Open Map Editor

Cliquez sur le bouton [...] afin d'ouvrir l'assistant tHMap Structure Generate/Select dans lequel vous pouvez obtenir une structure de mappeur hiérarchique générée automatiquement à partir du schéma ou sélectionner un structure de mappeur hiérarchique existante. Vous devez effectuer cette action pour l'entrée et la sortie du mappeur.

Lorsqu'il y a plusieurs liens de sortie au tHMap, la page affiche un message de confirmation vous informant que les structures du mappeur sont générées en respectant les liens de sortie.

S'il n'y a ni lien d'entrée ni lien de sortie, la page Structure Selection s'ouvre.

Map Path

Spécifiez le mapping à effectuer.

Si le mapping a été créé à partir de l'assistant décrit précédemment, le chemin est automatiquement configuré.

Si vous souhaitez utiliser un mapping existant, cliquez sur le bouton [...] à côté du champ Map Path pour ouvrir une boîte de dialogue. Dans laquelle vous pouvez sélectionner le mapping à utiliser. Cliquez sur le bouton [...] à côté du Open Map Editor pour travailler sur le mapping sélectionné. Notez que ce mapping doit avoir été précédemment créé dans la perspective Mapping .

Read Input As

Sélectionnez le bouton radio correspondant à la manière dont vous souhaitez que l'entrée soit lue. Selon votre mapping, seules certaines options peuvent être disponibles.

  • Data Integration columns (défaut) : utilisez cette option si vous travaillez avec les métadonnées d' Talend Data Integration .

  • Single column : utilisez cette option si vous travaillez avec les métadonnées de Talend Data Mapper .

Write Output As

Sélectionnez le bouton radio correspondant à la manière dont vous souhaitez écrire la sortie. Selon votre mapping, seules certaines options peuvent être disponibles.

  • Data Integration columns (défaut) : utilisez cette option si vous travaillez avec les métadonnées d' Talend Data Integration .

  • String (single column) : utilisez cette option si les données de la colonne de sortie sont de type String.

  • Byte array (single column) : utilisez cette option si les données de la colonne de sortie sont de type Byte array.

  • InputStream (single column) : utilisez cette option si vous travaillez avec les métadonnées de Talend Data Mapper et que les données d'entrée sont un flux.

  • Document (single column) : utilisez cette option si la colonne de sortie est de type Document.
    Remarque : Si vous avez sélectionné l'option Document (single column) dans le Job créé en version 6.5 ou antérieure du Studio Talend et que vous souhaitez importer le même Job en version 7.0 ou supérieure, assurez-vous d'avoir mis à jour la représentation de la sortie à XML, avant d'exécuter le Job. À partir de la version 7.0, le type de sortie Document s'applique uniquement à la représentation XML.

Advanced settings

Map Variable

Dans ce champ, saisissez une variable de contexte que vous pouvez utiliser pour définir le chemin relatif vers un mapping. Par exemple, si vous saisissez ${context.mymapfile}, mymapfile peut alors pointer vers différents fichiers de mapping lors de l’exécution. Cela peut être utile si vous souhaitez utiliser différents mappings sans avoir à créer un nouveau Job à chaque fois.

Dans l'onglet Contexts, la valeur doit être un chemin relatif. Par exemple, si vous avez un mapping nommé mapA dans le dossier Maps/FolderA, votre variable de contexte doit avoir la valeur "FolderA/mapA.xml". L'extension est nécessaire car il s'agit d'une référence à un fichier dans le système de fichiers.

Notez que tous les mappings qui peuvent être référencés par la variable de contexte doivent être présents dans le même projet. Ainsi, lorsque qu'il est construit, le Job contient tous les mappings candidats et il est possible de passer d'un mapping à un autre lors de l’exécution.

Pour plus d'informations concernant les variables de contexte, consultez le Guide utilisateur du Studio Talend .

Map each row (disable virtual component)

Cochez cette case pour que le tHMap traite l'entrée comme une seule ligne de sortie. Cela empêche le tHMap de mettre en mémoire tampon les lignes d'entrée avant de les passer en aval.

Cela peut être utile, par exemple, lorsque vous utilisez le composant tHMap avec un tSAPIDocReceiver en entrée et un composant prenant un schéma en compte en sortie, car dire au tSAPIDocReceiver de continuer à écouter indéfiniment empêcherait des lignes d'être passées.

Log Level

Dans la liste déroulante, sélectionnez la fréquence d'enregistrement des événements.

  • Infrequent : enregistre seulement les événements liés au démarrage, à l'arrêt et aux exceptions.

  • Frequent (défaut) : enregistre les événements liés au démarrage, à l'arrêt, aux exceptions, ainsi qu'un événement par exécution de mapping.

  • Info : enregistre tous les événements de niveau info ou supérieur.

  • All : enregistre tous les événements.

  • None : n'enregistre rien.

Exception Threshold

Talend Data Mapper retourne un statut d'exécution et une valeur de sévérité pouvant être de niveau OK, Info, Warning, Error ou Fatal. En configurant le seuil d'exception, vous pouvez spécifier le niveau de sévérité auquel est retournée une exception et permettre aux composants suivants de détecter les erreurs dans les cas où la valeur n'est pas celle par défaut, Fatal.

Dans la liste déroulante, sélectionnez le niveau de sévérité auquel une exception est retournée durant l'exécution d'un mapping.

  • Fatal (défaut) : une exception est retournée lorsqu'une erreur fatale (Fatal) survient.

  • Error : une exception est retournée lorsqu'une erreur (de niveau Error ou supérieur) survient.

  • Warning : une exception est retournée lorsqu'un avertissement (Warning ou une erreur de niveau supérieur) survient.

Notez que pour vous aider à diagnostiquer les problèmes de votre mapping, lorsque vous testez ce mapping dans votre Studio, chaque erreur de niveau Warning ou supérieur est écrite dans la vue console, peu importe le réglage défini dans l'option Exception Threshold.

tStatCatcher Statistics

Cochez cette case pour collecter les données de log au niveau du Job, ainsi qu'au niveau de chaque composant.

Variables globales

Global Variables

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, lorsque le composant contient cette case.

EXECUTION_STATUS : récupère le pointeur pointant vers l'objet ExecutionStatus, retourné lorsque le tHMap exécute une map Talend Data Mapper. Cette variable est une variable After et retourne une chaîne de caractères.

EXECUTION_SEVERITY : récupère la valeur numérique de Overall Severity. Cette variable est une variable After et retourne un entier.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. À partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend .

Utilisation

Règle d'utilisation

Le composant tHMap est utilisé pour les Jobs nécessitant un mapping de données complexes provenant de différentes sources.

Les connexions d'entrée et de sortie peuvent utiliser les métadonnées de Talend Data Mapper , de la solution d' Talend Data Integration ou une combinaison des deux. Chaque connexion est indépendante.

Lorsque vous ouvrez l'éditeur de mapping pour la première fois pour chaque connexion, il peut générer une définition de structure Talend Data Mapper basée sur le schéma d'un composant de la solution d' Talend Data Integration , ou vous permettre de sélectionner une structure Talend Data Mapper si vous utilisez les métadonnées de Talend Data Mapper . L'éditeur crée un mapping avec la structure sélectionnée ou générée.

Ce composant peut être utilisé de plusieurs manières :

  • Vous pouvez travailler avec un mapping Talend Data Mapper et des structures basées sur les métadonnées de Talend Data Mapper . Dans ce cas, les composants (par exemple, tFileInputRaw et tFileOutputRaw) passent les données dans une seule colonne dans une seule ligne.

    Pour un exemple de cette utilisation, consultez Utiliser les métadonnées de Talend Data Mapper.

  • Vous pouvez travailler avec les métadonnées d' Talend Data Integration . Dans ce cas, connectez un composant d'entrée et un composant de sortie au tHMap puis ouvrez le Map Editor sans spécifier de chemin de mapping.

    Pour un exemple de cette utilisation, consultez Utiliser les métadonnées de Talend Data Integration.

  • Vous pouvez travailler avec une combinaison de métadonnées de Talend Data Mapper et de la solution d' Talend Data Integration .

    Pour un exemple d'utilisation, consultez Transformer un schéma d'intégration de données en un schéma complexe.

  • Le scénario Gestion des erreurs montre comment traiter les conditions d'erreur à l'aide du composant tHMap.

Remarque :
  • Pour plus d'informations concernant les transformations via Talend Data Mapper , consultez le Guide utilisateur de Talend Data Mapper (en anglais).
  • Pour un tHMap utilisant des représentations différentes de Hashmap, CSV et Avro : exécuter le tHMap peut créer des fichiers temporaires, qui ne seront pas automatiquement supprimés une fois le moteur d'exécution Eclipse implémenté. Si vous exécutez fréquemment Talend Data Mapper, ces fichiers risquent de devenir nombreux et de conduire à une erreur de mémoire sur le disque. Lorsque cette erreur survient, l'exécution échoue. Pour éviter un tel scénario, il est recommandé d'effectuer un nettoyage régulier des fichiers.