tTeradataTPump - 6.3

Composants Talend Guide de référence

EnrichVersion
6.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Fonction

Ce composant insère, met à jour ou supprime des données dans la base de données Teradata à l'aide de l'utilitaire de chargement TPump qui permet d'obtenir des données en temps quasi réel dans un entrepôt de données.

Objectif

Utilisez ce composant pour insérer, mettre à jour ou supprimer des données dans la base de données Teradata, en particulier dans les environnements où les fenêtres de lot sont réduites et où la maintenance des entrepôts coïncident avec les heures normales de travail.

Propriétés du tTeradataTPump

Famille du composant

Databases/Teradata

 

Basic settings

Property type

Peut être Built-in ou Repository

Depuis la version 5.6, les modes Built-In et Repository sont disponibles dans toutes les solutions de Talend.

 

 

Built-in : Propriétés utilisées ponctuellement.

 

 

Repository : Sélectionnez le fichier de propriétés du composant. Les champs suivants sont alors pré-remplis à l'aide des données collectées.

 

Execution platform

Sélectionnez le type de système d'exploitation que vous utilisez.

 

Host

Nom de l'hôte ou l'adresse IP du serveur de la base de données.

 

Database name

Nom de la base de données.

 

Username et Password

Informations d'authentification de l'utilisateur de base de données.

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres.

 

Table

Nom de la table à créer. Vous ne pouvez créer qu'une seule table à la fois.

 

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Depuis la version 5.6, les modes Built-In et Repository sont disponibles dans toutes les solutions de Talend.

 

 

Built-in : Le schéma est créé et conservé ponctuellement pour ce composant seulement. Voir également le Guide utilisateur du Studio Talend.

 

 

Repository : Le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé. Voir également le Guide utilisateur du Studio Talend.

  

Cliquez sur Edit schema pour modifier le schéma. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to Built-In property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

 

Script generated folder

Parcourez votre répertoire et sélectionnez la destination du fichier qui sera créé.

 

Action to data

Vous pouvez effectuer les opérations suivantes sur les données de la table sélectionnée :

Insert : Ajouter de nouvelles entrées à la table. Le Job s'arrête lorsqu'il détecte des doublons.

Update : Mettre à jour les entrées existantes.

Insert or update : insère un nouvel enregistrement. Si l'enregistrement avec la référence donnée existe déjà, une mise à jour est effectuée.

Delete : Supprimer les entrées correspondantes au flux d'entrée.

Avertissement

Il est nécessaire de spécifier au minimum une clé de recherche sur laquelle baser les opérations Update et Delete. Il est possible de définir les colonnes qui agiront comme clé de recherche à partir du schéma, pour une utilisation de base, ou à partir des options avancées (Advanced settings) pour une utilisation optimisée de ces opérations.

 

Where condition in case Delete

Saisissez une condition, qui, si elle est vérifiée, supprimera la ligne.

Ce champ apparaît uniquement lorsque Delete est sélectionné dans la liste déroulante Action to data.

 

Load file

Entrez le nom du fichier à partir duquel vous souhaitez charger les données.

 

Field separator

Caractère, chaîne ou expression régulière séparant les champs.

 

Error file

Parcourez votre répertoire et sélectionnez la destination du fichier dans lesquels seront enregistrés les messages d'erreur.

Advanced settings

Define Log table

Cochez cette case pour définir la table de log que vous souhaitez utiliser au lieu de celle par défaut, à savoir celle que vous avez définie dans l'onglet Basic settings. La syntaxe requise pour définir la table de log est databasename.logtablename.

 

BEGIN LOAD

Ce champ vous permet de définir votre commande BEGIN LOAD pour lancer ou relancer une tâche TPump. Vous pouvez spécifiez le nombre de sessions à utiliser, la limite d'erreurs, ainsi que tout autre paramètre nécessaire à l'exécution de la tâche. La valeur par défaut est :

SESSIONS 8 PACK 600 ARRAYSUPPORT ON CHECKPOINT 60 TENACITY 2 ERRLIMIT 1000.

Pour plus d'informations, consultez la documentation Teradata Parallel Data Pump Reference.

 

Return tpump error

Cochez cette case pour spécifier le code de retour à partir duquel retourner une erreur dans la console.

 

Define character set

Spécifiez l'encodage des caractères dont vous avez besoin pour utiliser votre système.

 

tStatCatcher Statistics

Cochez cette case pour collecter les données de log au niveau du composant.

Global Variables

EXIT_VALUE : code de sortie du processus. Cette variable est une variable After et retourne un nombre entier.

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Ce composant couvre toutes les possibilités de requête SQL dans les bases de données Teradata.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Scénario : Insérer des données dans une table d'une base de données Teradata

Dans ce scénario, l'objectif est de créer un Job utilisant le composant tTeradataTPump pour insérer des données clients dans une table d'une base de données Teradata et retourner la valeur de retour lorsqu'une erreur se produit.

Trois composants sont utilisés pour implémenter cette tâche :

  • tRowGenerator : génère autant de lignes que nécessaire, en utilisant au hasard des données clients prises dans une liste.

  • tFileOutputDelimited : écrit les données clients dans un fichier délimité.

  • tTeradataTPump : insère les données clients dans la table de la base de données Teradata en mode Tpump.

Déposer les composants

  1. Déposez les composants suivants de la Palette dans l'espace de modélisation graphique : tRowGenerator, tFileOutputDelimited, tTeradataTPump.

  2. Liez le tRowGenerator au tFileOutputDelimited à l'aide d'un lien Row > Main.

  3. Liez le tRowGenerator au tTeradataTPump à l'aide d'un lien Trigger > OnSubjobOk.

Configurer les composants

  1. Double-cliquez sur le tRowGenerator pour ouvrir la fenêtre [RowGenerator Editor].

    Dans la fenêtre [RowGenerator Editor], définissez les données à générer. Pour ce Job, le schéma se compose de deux colonnes : ID et Name.

    Dans le champ Number of Rows for RowGenerator, saisissez le nombre de lignes à générer.

  2. Double-cliquez sur le tFileOutputDelimited afin d'afficher sa vue Component et définir ses propriétés.

  3. A côté du champ File Name, parcourez votre répertoire jusqu'au fichier de sortie, ou saisissez un nom pour le fichier à créer.

  4. Entre guillemets doubles, saisissez les séparateurs à utiliser, à côté des champs Row Separator et Field Separator, par exemple \n et un point-virgule.

    Cliquez sur Edit schema et vérifiez que le schéma est retrouvé à partir du schéma d'entrée. Au besoin, cliquez sur Sync Columns.

  5. Double-cliquez sur le composant tTeradataTPump afin d'ouvrir sa vue Component.

    Dans l'onglet Basic settings de la vue Component, définissez les paramètres du composant tTeradataTPump.

  6. Saisissez le nom de la base de données dans le champ Database name, votre identifiant de connexion à la base de données dans le champ User name, et votre mot de passe dans le champ Password.

  7. Spécifiez la table dans laquelle insérer les données clients. Dans ce scénario, la table est mytable.

  8. Dans les champs Script generated folder, Load file et Error file, spécifiez le répertoire respectivement au dossier dans lequel vous stockez les fichiers de scripts générés.

  9. Dans le champ Load File, spécifiez le fichier contenant les données clients à insérer.

  10. Dans le champ Error file, spécifiez le fichier contenant les informations concernant les erreurs.

  11. Dans le champ Action on data, sélectionnez l'option Insert.

Exécuter le Job

  1. Appuyez sur F6 pour exécuter le Job.

  2. La console de la vue Run s'affiche ainsi :

  3. Double-cliquez sur le composant tTeradataTPump pour retourner à sa vue Component.

  4. Dans l'onglet Advanced settings, cochez la case Return tpump error et saisissez le code de retour à partir duquel retourner une erreur dans la console. Dans cet exemple, saisissez le chiffre 4 et utilisez les valeurs par défaut pour les autres paramètres.

  5. Appuyez sur F6 pour exécuter le Job.

  6. La console de la vue Run s'affiche ainsi :

Une erreur se produit et le TPump retourne le code de retour, de 12. Si vous avez besoin d'informations détaillées concernant les informations détaillées de l'erreur, vous pouvez ouvrir le fichier de log stocké dans le répertoire spécifié dans le champ Error file et dans l'onglet Basic settings de la vue Component.