tMDMBulkLoad - 6.1

Composants Talend Open Studio Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Propriétés du tMDMBulkLoad

Famille du composant

Talend MDM

 

Fonction

Le composant tMDMBulkLoad écrit en masse des données maître structurées XML dans le hub MDM.

Objectif

Ce composant utilise le mode bulk pour écrire des données, de façon à ce que de gros lots de données ou des données très complexes puissent être chargé(e)s rapidement sur le serveur MDM.

Basic settings

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs qui sont traités et passés au composant suivant. Le schéma est soit local (built-in) soit distant dans le Repository.

Depuis la version 5.6, les modes Built-In et Repository sont disponibles dans toutes les solutions de Talend.

Cliquez sur Edit schema pour modifier le schéma. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to Built-In property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, sélectionnez No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

Cliquez sur le bouton Sync columns afin de récupérer le schéma du composant précédent.

 

 

Built-in : Le schéma sera créé et conservé pour ce composant seulement. Voir également le Guide utilisateur du Studio Talend.

 

 

Repository : Le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans divers projets et Jobs. Voir également le Guide utilisateur du Studio Talend.

 

XML Field

Sélectionnez le nom de la colonne dans laquelle vous souhaitez écrire les données XML.

 

URL

Saisissez l'URL d'accès au serveur MDM.

 

Username et Password

Informations d'authentification de l'utilisateur du serveur MDM.

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles, puis cliquez sur OK afin de sauvegarder les paramètres.

 

Data Model

Saisissez le nom du modèle de données par rapport auquel vous souhaitez valider les données à écrire.

 

Data Container

Saisissez le nom du conteneur de données contenant les données que vous souhaitez écrire.

 

Entity

Saisissez le nom de l'entité contenant les données que vous souhaitez effacer.

Type

Sélectionnez Master ou Staging pour spécifier sur quelle base de données effectuer l'action.

 

Validate

Cochez cette case afin de valider les données que vous souhaitez écrire sur le serveur MDM, par rapport à des règles de validation définies pour le modèle de données courant.

Pour le conteneur de données PROVISIONING, les vérifications de validation sont toujours effectuées sur les enregistrements entrants, que la case soit cochée ou non.

Pour plus d'informations concernant la définition des règles de validation, consultez le Guide utilisateur du Studio Talend.

Avertissement

Si vous préférez un chargement plus rapide, ne cochez pas cette case.

 

Generate ID

Cochez cette case pour générer un identifiant aux données écrites.

Avertissement

Si vous préférez un chargement plus rapide, ne cochez pas cette case.

 Insert only

Cochez cette case pour passer l'étape qui vérifie si les enregistrements de données à insérer existent déjà sur le serveur MDM, augmentant ainsi les performances.

Néanmoins, avant d'utiliser cette option, vous devez vous assurer que les enregistrements de données n'existent pas déjà dans la base de données.

 

Commit size

Saisissez le nombre de lignes de chaque lot à écrire sur le serveur MDM.

 

Use Transaction

Cochez cette case et, dans la liste Component List, sélectionnez une connexion existante à utiliser pour commiter la transaction.

Advanced settings

tStatCatcher Statistics

Cochez cette case pour collecter les données de log au niveau du composant.

Connections

Liens de sortie (de ce composant à un autre) :

Row : Main.

Trigger : Run If, OnComponentOk, OnComponentError, OnSubjobOk, OnSubjobError.

Liens d'entrée (d'un autre composant à celui-ci) :

Row : Main.

Trigger : Run If, OnComponentOk, OnComponentError, OnSubjobOk, OnSubjobError.

Pour plus d'informations concernant les connexions, consultez le Guide utilisateur du Studio Talend.

Global Variables

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Ce composant nécessite toujours un flux d'entrée afin de structurer des données en XML. Si vos données ne sont pas encore structurées XML, vous devez utiliser des composants tels que le tWriteXMLField afin de transformer ces données en XML. Pour plus d'informations concernant le tWriteXMLField, consultez tWriteXMLField.

Scénario : Charger des enregistrements dans une entité métier

Ce scénario décrit un Job qui charge des enregistrements dans l'entité métier ProductFamily définie par un modèle de données spécifique dans le hub MDM.

Prérequis :

  • Le conteneur de données Product. Ce conteneur de données est utilisé pour séparer le domaine de données maître des produits des autres domaines de données maître.

  • Le modèle de données Product. Ce modèle de données est utilisé pour définir les attributs, les règles de validation, les droits d'accès des utilisateurs et les relations des entités en rapport. Il définit les attributs de l'entité métier ProductFamily.

  • L'entité métier ProductFamily. Cette entité métier contient les attributs Id et Name, définis dans le modèle de données Product.

Pour plus d'informations concernant la création d'un conteneur de données, d'un modèle de données et d'une entité métier ainsi que de ses attributs, consultez la partie MDM de votre Guide utilisateur du Studio Talend.

Le Job dans ce scénario utilise trois composants.

  • Un tFixedFlowInput . Ce composant génère les enregistrements à charger dans l'entité métier ProductFamily. Généralement, les enregistrements à charger sont volumineux et stockés dans un fichier spécifique. Cependant, pour faciliter la reproduction de ce scénario, ce Job utilise un tFixedFlowInput afin de générer quatre exemples d'enregistrements.

  • Un tWriteXMLField : ce composant transforme les données d'entrée pour leur donner une structure XML.

  • Un tMDMBulkLoad : ce composant écrit en masse les données d'entrée dans l'entité métier ProductFamily et génère une valeur d'ID pour chaque donnée de l'enregistrement.

Placer et relier les composants

  1. Déposez un tFixedFlowInput, un tWriteXMLField et un tMDMBulkLoad dans l'espace de modélisation graphique.

  2. Reliez le tFixedFlowInput au tWriteXMLField à l'aide d'un lien Main.

  3. Répétez l'opération pour relier le tWriteXMLField au tMDMBulkLoad.

Configurer les composants

Générer les enregistrements de données à charger dans une entité métier

  1. Double-cliquez sur le tFixedFlowInput afin d'ouvrir sa vue Basic settings.

  2. Cliquez sur le bouton [...] à côté du champ Edit schema pour ouvrir l'éditeur du schéma.

  3. Dans l'éditeur du schéma, cliquez sur le bouton [+] pour ajouter une colonne.

  4. Nommez la nouvelle colonne family dans cet exemple.

  5. Cliquez sur OK pour fermer l'éditeur du schéma.

  6. Dans la partie Mode de la vue Basic settings, sélectionnez l'option Use Inline Table.

  7. Cliquez quatre fois sur le bouton [+] pour ajouter quatre lignes à la table.

  8. Dans le tableau, cliquez sur chacune des lignes ajoutées et saisissez leur nom, entre guillemets : Shirts, Hats, Pets et Mugs (Chemises, chapeaux, vêtements pour animaux, tasses).

Transformer les données entrantes en structure XML

  1. Double-cliquez sur le tWriteXMLField pour ouvrir sa vue Basic settings.

  2. Cliquez sur le bouton [...] à côté du champ Edit schema pour ouvrir l'éditeur du schéma puis ajoutez une ligne en cliquant sur le bouton [+].

  3. Cliquez sur la nouvelle ligne, dans la partie droite de l'éditeur du schéma et saisissez le nom de la colonne de sortie dans laquelle vous souhaitez écrire le contenu XML. Dans cet exemple, saisissez xmlRecord.

  4. Cliquez sur OK pour valider ce schéma de sortie et fermer l'éditeur su schéma.

    Dans la boîte de dialogue qui s'ouvre, cliquez sur OK afin de propager le schéma au composant suivant.

  5. Dans la vue Basic settings, cliquez sur le bouton [...] à côté du champ Configure Xml Tree pour ouvrir l'interface permettant de créer la structure XML

  6. Dans la zone Link Target, cliquez sur rootTag et renommez le champ ProductFamily, qui est le nom de l'entité métier utilisée dans ce scénario.

  7. De la zone Linker source, glissez-déposez family dans ProductFamily, dans la zone Link target.

    Une boîte de dialogue s'affiche et vous demande quel type d'opération vous souhaitez effectuer.

    Sélectionnez Create as sub-element of target node afin de créer un sous-élément du nœud ProductFamily. L'élément family apparaît sous le noeud ProductFamily.

    Dans la zone Link target, cliquez sur le nœud family et renommez-le Name, qui est l'un des attributs de l'entité métier ProductFamily.

    Cliquez-droit sur le nœud Name et sélectionnez Set As Loop Element dans le menu contextuel.

  8. Dans la zone Link target, cliquez sur le nœud family et renommez-le Name, qui est l'un des attributs de l'entité métier ProductFamily.

    Cliquez sur OK afin de valider la structure XML que vous avez définie.

Écrire les données entrantes dans l'entité métier

  1. Double-cliquez sur le tMDMBulkLoad afin d'ouvrir sa vue Basic settings.

  2. Dans la liste XML Field, sélectionnez xmlRecord.

  3. Dans le champ URL, saisissez l'URL dédiée au chargement de masse, entre guillemets : par exemple, http://localhost:8180/talendmdm/services/bulkload

  4. Dans les champs Username et Password, saisissez respectivement votre identifiant et votre mot de passe de connexion au serveur MDM.

  5. Dans les champs Data Model et Data Container, saisissez les noms correspondants au modèle de données et au conteneur de données que vous souhaitez utiliser, Product pour les deux champs, dans ce scénario.

    Dans le champ Entity, saisissez le nom de l'entité métier dont les enregistrements doivent être chargés. Dans cet exemple, saisissez ProductFamily.

  6. Cochez la case Generate ID afin de générer des valeurs d'ID pour les enregistrements à charger.

  7. Dans le champ Commit size, saisissez la taille du lot à écrire dans le hub MDM en mode bulk.

Enregistrer et exécuter le Job

  1. Appuyez sur Ctrl+S pour enregistrer votre Job.

  2. Exécutez le Job en appuyant sur F6 ou en cliquant sur Run dans l'onglet Run.

    Connectez-vous à votre interface Talend MDM Web User Interface pour vérifier les nouveaux enregistrements ajoutés à l'entité métier ProductFamily.