tTeradataTPTExec - 6.1

Composants Talend Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Propriétés du tTeradataTPTExec

Famille du composant

Databases/Teradata

 

Fonction

Le composant tTeradataTPTExec est une combinaison du tTeradataFastLoad, du tTeradataMultiLoad, du tTeradataTPump et du tTeradataFastExport. Il charge les données d'un fichier existant dans une base de données Teradata.

Objectif

Le tTeradataTPTExec offre de hautes performances lors de l'insertion des données d'un fichier existant dans une table d'une base de données Teradata.

Basic settings

Property Type

Peut être Built-In ou Repository.

Depuis la version 5.6, les modes Built-In et Repository sont disponibles dans toutes les solutions de Talend.

 

 

Built-In : Propriétés utilisées ponctuellement.

 

 

Repository : Sélectionnez le fichier de propriétés du composant. Les champs suivants concernant la connexion à la base de données sont alors pré-remplis à l'aide des données collectées.

 

Execution platform

Sélectionnez le type de système d'exploitation utilisé pour exécuter le Job, Windows ou Unix.

 

TDPID

Spécifiez le Director program identifier de Teradata. Cela peut-être le nom ou l'adresse IP de la base de données Teradata à laquelle vous accédez.

 

Database name

Saisissez dans ce champ le nom de la base de données Teradata.

 

Username et Password

Spécifiez l'identifiant et mot de passe de l'utilisateur de la base de données Teradata.

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles, puis cliquez sur OK afin de sauvegarder les paramètres.

 

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Depuis la version 5.6, les modes Built-In et Repository sont disponibles dans toutes les solutions de Talend.

Note

Il est recommandé de ne pas utiliser le mot-clé Teradata Database comme nom de colonne de base de données. Si vous y êtes obligé, le nom de la colonne de base de données doit alors être entouré par \". Par exemple, lorsque le mot-clé id est utilisé comme nom de colonne d'une base de données, le champ Db Column doit être renseigné par \"id\".

 

 

Built-In : Le schéma est créé et conservé ponctuellement pour ce composant seulement. Voir également le Guide utilisateur du Studio Talend.

 

 

Repository : Le schéma existe déjà et il est stocké dans le Repository. Ainsi, il peut être réutilisé. Voir également le Guide utilisateur du Studio Talend.

  

Cliquez sur Edit schema pour modifier le schéma. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to Built-In property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, sélectionnez No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

 

Consumer Operator

Sélectionnez un opérateur dans la liste déroulante.

  • Load : charge un grand volume de données dans une table vide dans la base de données Teradata à l'aide de l'utilitaire Teradata FastLoad utility.

  • Inserter : insère les données dans une table définie dans la base de données Teradata.

  • Update : réalise des insertions, des mises à jour ou des suppressions dans une table nouvellement créée ou déjà existante de la base de données Teradata à l'aide de l'utilitaire Teradata MultiLoad utility.

  • Stream : réalise des insertions, des mises à jour ou des suppressions dans une table nouvellement créée ou déjà existante de la base de données Teradata à l'aide de l'utilitaire Teradata TPump.

Pour plus d'informations concernant cet opérateur, consultez http://developer.teradata.com/sites/all/files/documentation/linked_docs/html/online/B035-2436-088A/wwhelp/wwhimpl/js/html/wwhelp.htm (en anglais).

 

Action on data

Sélectionnez dans la liste déroulante une action à effectuer sur les données.

  • Insert : ajouter de nouvelles entrées à la table. Le Job s'arrête lorsqu'il détecte des doublons.

  • Update : mettre à jour des entrées déjà existantes dans la table.

  • InsertOrUpdate : ajouter de nouvelles entrées. Une mise à jour sera effectuée si l'entrée avec la référence donnée existe déjà.

  • Delete : Supprimer des entrées correspondant au flux d'entrée.

Ce champ apparaît uniquement lorsque l'opérateur Update ou Stream est sélectionné dans la liste déroulante Consumer Operator.

 

Producer Operator

Sélectionnez un opérateur dans la liste déroulante. Seul l'opérateur DataConnector est actuellement supporté.

Pour plus d'informations concernant cet opérateur, consultez http://developer.teradata.com/sites/all/files/documentation/linked_docs/html/online/B035-2436-088A/wwhelp/wwhimpl/js/html/wwhelp.htm (en anglais).

 

Table

Spécifiez le nom de la table à écrire dans la base de données Teradata. Notez que vous ne pouvez écrire qu'une table à la fois.

 

Script generated folder

Spécifiez le répertoire sous lequel le fichier script Teradata Parallel Transporter sera créé durant l'exécution du Job puis supprimé avant la fin du Job.

 

Load file

Spécifiez le fichier contenant les données à charger dans la base de données Teradata.

 

Error file

Spécifiez le fichier dans lequel les messages de log seront enregistrés.

 Advanced settings

Field separator

Caractère, chaîne ou expression régulière séparant les champs.

 

Define Log table

Cochez cette case pour spécifiez le nom de table de log.

 

Set Script Parameters

Cochez cette case pour spécifier la valeur des paramètres Load Operator, Data Connector, Job Name, and Layout Name (schema) qui seront utilisés lors de la génération d'un script durant l'exécution du Job. Si vous ne les spécifiez pas manuellement, le système utilisera leurs valeurs par défaut.

 

Load Operator

Spécifiez l'opérateur de chargement.

Ce champ apparaît uniquement lorsque la case Set Script Parameters est cochée.

 

Data Connector

Spécifiez le connecteur de données.

Ce champ apparaît uniquement lorsque la case Set Script Parameters est cochée.

 

Job Name

Spécifiez le nom du Job TPT (Teradata Parallel Transporter) défini via la commande Teradata tbuild.

Pour plus d'informations concernant la commande tbuild, consultez http://developer.teradata.com/sites/all/files/documentation/linked_docs/html/online/B035-2436-088A/wwhelp/wwhimpl/js/html/wwhelp.htm (en anglais).

Ce champ apparaît uniquement lorsque la case Set Script Parameters est cochée.

 

Layout Name(schema)

Spécifiez un schéma pour le chargement des données.

Ce champ apparaît uniquement lorsque la case Set Script Parameters est cochée.

 

Return mload error

Cochez cette case pour spécifier le code de retour à partir duquel retourner une erreur dans la console.

 

Define character set

Cochez cette case pour spécifier l'encodage des caractères à utiliser dans votre système.

 

Apply TPT consumer operator optional attributes

Cochez cette case afin de définir les attributs facultatifs pour l'opérateur du consommateur sélectionné.

Pour plus d'informations concernant les attributs facultatifs de chaque opérateur de consommateur, consultez le Guide Teradata Parallel Transporter Reference (en anglais) à l'adresse suivante : http://developer.teradata.com/sites/all/files/documentation/linked_docs/2436020A_TPT-Reference-13.10.pdf.

 

Optional attributes

Cliquez sur le bouton [+] sous la table pour ajouter autant des lignes que nécessaire pour chaque attribut facultatif. Configurez les paramètres comme suit pour chaque attribut :

  • Name : cliquez dans la cellule et sélectionnez un attribut facultatif dans la liste déroulante. La liste des attributs facultatifs varie selon l'opérateur du consommateur sélectionné. Pour plus d'informations concernant les attributs facultatifs pour chaque opérateur du consommateur, consultez Attributs facultatifs supportés pour chaque opérateur de consommateur.

  • Value : saisissez la valeur de l'attribut facultatif.

Pour plus d'informations concernant la définition de la valeur d'un attribut, consultez le Guide Teradata Parallel Transporter Reference (en anglais) à l'adresse suivante : http://developer.teradata.com/sites/all/files/documentation/linked_docs/2436020A_TPT-Reference-13.10.pdf.

Cette table apparaît uniquement lorsque la case Apply TPT consumer operator optional attributes est cochée.

 

tStatCatcher Statistics

Cochez cette case pour collecter les données de log au niveau du composant.

Global Variables

EXIT_VALUE : code de sortie du processus. Cette variable est une variable After et retourne un nombre entier.

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Ce composant peut s'utiliser en standalone dans un Job ou un sous-job. Il offre de hautes performances lors de l'insertion de données d'un fichier existant dans une table d'une base de données Teradata. Pour plus d'informations concernant l'utilisation de ce composant, consultez http://developer.teradata.com/sites/all/files/documentation/linked_docs/html/online/B035-2436-088A/wwhelp/wwhimpl/js/html/wwhelp.htm (en anglais).

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Limitation

Il est nécessaire d'installer l'outil de client Teradata avec les fonctionnalités Teradata Parallel Transporter Base et Teradata Parallel Transporter Stream sur la machine où les Jobs utilisant ce composant sont exécutés.

Attributs facultatifs supportés pour chaque opérateur de consommateur

Cette section liste tous les attributs facultatifs supportés pour chaque opérateur de consommateur.

  • Pour l'opérateur Load :

    BufferSize, ErrorLimit, MaxSessions, MinSessions, TenacityHours, TenacitySleep, AccountId, DataEncryption, DateForm, ErrorTable1, ErrorTable2, LogonMech, LogonMechData, NotifyExit, NotifyExitlsDLL, NotifyLevel, NotifyMethod, LogSQL, NotifyString, PauseAcq, PrivateLogName, QueryBandSessInfo, WildcardInsert, WorkingDatabase, TraceLevel.

  • Pour l'opérateur Inserter :

    AccountId, DataEncryption, DateForm, LogonMech, LogonMechData, LogSQL, PrivateLogName, QueryBandSessInfo, ReplicationOverride, TraceLevel, WorkingDatabase.

  • Pour l'opérateur Update :

    PrivateLogName, BufferSize, ErrorLimit, MaxSessions, MinSessions, TenacityHours, TenacitySleep, AccountId, AmpCheck, DataEncryption, DateForm, DeleteTask, DropErrorTable, DropLogTable, DropWorkTable, ErrorTable1, ErrorTable2, LogonMech, LogonMechData, LogSQL, NotifyExit, NotifyExitIsDLL, NotifyLevel, NotifyMethod, NotifyString, PauseAcq, QueryBandSessInfo, QueueErrorTable, WorkingDatabase, WorkTable, TraceLevel.

  • Pour l'opérateur Stream :

    Buffers, ErrorLimit, MaxSessions, MinSessions, Pack, Rate, Periodicity, TenacityHours, TenacitySleep, AccountId, AppendErrorTable, ArraySupport, DataEncryption, DateForm, DropErrorTable, DropMacro, ErrorTable, LogonMech, LogonMechData, MacroDatabase, OperatorCommandID, NotifyExit, NotifyExitlsDLL, NotifyLevel, NotifyMethod, LogSQL, NotifyString, PackMaximum, PrivateLogName, QueryBandSessInfo, QueueErrorTable, ReplicationOverrride, Robust, WorkingDatabase, TraceLevel.

Scénario : Charger des données dans une base de données Teradata

Ce scénario décrit un Job créant une table dans une base de données Teradata, écrivant des données dans un fichier délimité, chargeant ces données du fichier dans la table, récupérant les données de la table et les affichant dans la console.

Construire le Job

  1. Créez un Job et ajoutez les composants suivants en saisissant leur nom dans l'espace de modélisation graphique ou bien en les glissant-déposant de la Palette dans l'espace de modélisation graphique : un tTeradataRow, un tFixedFlowInput, un tFileOutputDelimited, un TeradataTPTExec, un tTeradataInput et un tLogRow.

  2. Reliez le tFixedFlowInput au tFileOutputDelimited à l'aide d'un lien Row > Main.

  3. Connectez le tTeradataInput au tLogRow avec le même type de lien.

  4. Reliez le tTeradataRow au tFixedFlowInput à l'aide d'un lien Trigger > OnSubjobOk.

  5. Connectez le tFixedFlowInput au TeradataTPTExec et le TeradataTPTExec au tTeradataInput à l'aide du même type de lien.

Configurer les composants

Créer une nouvelle table d'une base de données Teradata

  1. Double-cliquez sur le tTeradataRow pour ouvrir sa vue Basic settings.

  2. Renseignez les champs Host, Database, Username et Password en saisissant respectivement le nom de l'hôte, le nom de la base de données, l'identifiant et le mot de passe de l'utilisateur, pour la connexion.

  3. Dans le champ Query, saisissez l'instruction SQL suivante afin de créer une table nommée person contenant ces trois colonnes :id, name, sex.

    CREATE SET TABLE samples.person,
    FALLBACK,
    NO BEFORE JOURNAL,
    NO AFTER JOURNAL
    (
      id INTEGER NOT NULL,
      name VARCHAR(50),
      sex VARCHAR(20)
    )
    UNIQUE PRIMARY INDEX (id)

Préparer les données source

  1. Double-cliquez sur le composant tFixedFlowInput pour ouvrir sa vue Basic settings.

  2. Cliquez sur le bouton [...] à côté du champ Edit schema pour ouvrir l'éditeur du schéma.

  3. Cliquez trois fois sur le bouton [+] pour ajouter trois colonnes : id de Type Integer, name et sex, de Type String.

  4. Cliquez sur OK pour fermer l'éditeur et acceptez la propagation lorsqu'une fenêtre vous propose de propager le schéma.

  5. Dans la zone Mode, sélectionnez Use Inline Content (delimited file) et saisissez les données d'entrée dans le champ Content.

    1;Ford;Male
    2;Rose;Female
    3;Sabrina;Female
    4;Teddy;Male
    5;Kate;Male
  6. Double-cliquez sur le tFileOutputDelimited pour ouvrir sa vue Basic settings.

  7. Dans le champ File Name, spécifiez le fichier dans lequel écrire les données d'entrée. Dans cet exemple, saisissez E:/person.csv.

Charger les données sources dans une table vide

  1. Double-cliquez sur le TeradataTPTExec pour ouvrir sa vue Basic settings.

  2. Dans les champs TDPID, Database name, Username et Password, saisissez vos informations de connexion à la base de données Teradata.

  3. Dans le champ Table, saisissez le nom de la table dans laquelle les données source seront chargées. Dans cet exemple, saisissez person.

  4. Dans le champ Script generated folder, parcourez votre système jusqu'au répertoire sous lequel créer le fichier du script Teradata Parallel Transporter durant l'exécution du Job. Dans cet exemple, le chemin est E:/.

  5. Dans le champ Load file, parcourez votre système jusqu'au fichier contenant les données source. Dans cet exemple, le chemin est E:/person.csv.

  6. Dans le champ Error file, spécifiez le fichier dans lequel enregistrer les messages de log. Dans cet exemple, le chemin est E:/error.log.

  7. Cliquez sur le bouton [...] à côté du champ Edit schema to open the schema editor.

    Cliquez trois fois sur le bouton [+] pour ajouter trois colonnes : id de Type Integer, name et sex, de Type String. Le nom des colonnes id et name dans la colonne Db Column sont entourés par \", car ce sont des mots-clés de la base de données Teradata.

    Cliquez sur OK pour valider ces modifications et fermer l'éditeur du schéma.

  8. Cliquez sur l'onglet Advanced settings pour ouvrir sa vue. Cochez la case Apply TPT consumer operator optional attributes et cliquez quatre fois sur le bouton [+] sous la table Optional attributes pour ajouter les attributs nécessaires suivants : ErrorLimit, ErrorTable1, QueryBandSessInfo et TraceLevel.

    Note

    Pour les attributs de type VARCHAR, saisissez les valeurs entre guillemets doubles.

Récupérez les données de la table de base de données Teradata

  1. Double-cliquez sur le tTeradataInput pour ouvrir sa vue Basic settings.

  2. Dans le champ Table Name, saisissez le nom de la table de laquelle lire les données. Dans cet exemple, saisissez person.

  3. Dans le champ Query, saisissez l'instruction SQL suivante pour récupérer les données de la table person.

    SELECT * FROM samples.person ORDER BY id
  4. Cliquez sur le [...] à côté du champ Edit schema pour ouvrir l'éditeur du schéma.

  5. Cliquez trois fois sur le bouton [+] pour ajouter trois colonnes : id de Type Integer, name et sex, de Type String. Le nom des colonnes id et name dans la colonne Db Column sont entourés par \", car ce sont des mots-clés de la base de données Teradata.

  6. Cliquez sur OK pour fermer l'éditeur de schéma et acceptez la propagation proposée par la fenêtre qui s'ouvre.

  7. Double-cliquez sur le tLogRow pour ouvrir sa vue Basic settings.

  8. Dans la zone Mode, sélectionnez l'option Table (print values in cells of a table) pour un affichage optimal des résultats.

Sauvegarder et exécuter le Job

  1. Appuyez sur les touches Ctrl + S pou sauvegarder le Job.

  2. Appuyez sur F6 pour l'exécuter.

    Les données écrites dans la table de la bases de données Teradata spécifiée sont affichées dans la console.