tVerticaOutputBulkExec - 6.1

Composants Talend Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Propriétés du tVerticaOutputBulkExec

Les composants tVerticaOutputBulk et tVerticaBulkExec sont généralement utilisés ensemble comme deux parties d'un processus en deux étapes. Dans la première étape, un fichier de sortie est généré. Dans la deuxième étape, ce fichier est utilisé lors de l'opération d'INSERT afin de peupler une base de données. Cette exécution en deux étapes est unifiée dans le composant tVerticaOutputBulkExec.

Famille du composant

Databases/Vertica

 

Fonction

Le composant tVerticaOutputBulkExec effectue une action d'Insert sur les données fournies.

Objectif

Le tVerticaOutputBulkExec est un composant dédié qui permet un gain de performance pendant les opérations d'Insert dans une base de données Vertica.

Basic settings

Property Type

Peut être Built-in ou Repository

Depuis la version 5.6, les modes Built-In et Repository sont disponibles dans toutes les solutions de Talend.

 

 

Built-in : Propriétés utilisées ponctuellement.

 

 

Repository : Sélectionnez le fichier de propriétés du composant. Les champs suivants sont alors pré-remplis à l'aide des données collectées.

 

DB Version

Sélectionnez dans la liste la version de Vertica que vous utilisez.

 

Use existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat à partir de la liste Component List pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

 

Host

Adresse IP du serveur de base de données.

 

Port

Numéro du port d'écoute du serveur de base de données.

 

DB Name

Nom de la base de données.

 

Username et Password

Informations d'authentification de l'utilisateur de base de données.

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles, puis cliquez sur OK afin de sauvegarder les paramètres.

 Action on data

Vous pouvez effectuer l'une des opérations suivantes sur les données de la table sélectionnée :

  • Bulk insert : insérer plusieurs lignes dans la table en une fois au lieu de les insérer une à une.

  • Bulk update : faire des mises à jour simultanées sur plusieurs lignes.

 

Table

Nom de la table à écrire. Notez qu'une seule table peut être écrite à la fois et la table doit déjà exister pour que l'opération d'insert soit autorisée.

 

Action on table

Vous pouvez effectuer l'une des opérations suivantes sur les données de la table sélectionnée :

None : n'effectuer aucune opération de table.

Drop and create table : supprimer la table puis en créer une nouvelle.

Create table : créer une table qui n'existe pas encore.

Create table if not exists : créer la table si nécessaire.

Drop table if exists and create : supprimer la table si elle existe déjà, puis en créer une nouvelle.

Clear table : supprimer le contenu de la table.

 

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Depuis la version 5.6, les modes Built-In et Repository sont disponibles dans toutes les solutions de Talend.

Cliquez sur Edit schema pour modifier le schéma. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to Built-In property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, sélectionnez No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

 

 

Built-In : Le schéma est créé et conservé ponctuellement pour ce composant seulement. Voir également le Guide utilisateur du Studio Talend.

 

 

Repository : Le schéma existe déjà et il est stocké dans le Repository. Ainsi, il peut être réutilisé. Voir également le Guide utilisateur du Studio Talend.

Lorsque le schéma à réutiliser contient des valeurs par défaut, qui sont des entiers (integer) ou des fonctions (function), assurez-vous que les valeurs par défaut ne sont pas entourées de guillemets. Si c'est le cas, vous devez supprimer manuellement les guillemets.

Pour plus d'informations, consultez https://help.talend.com/display/KB/Verifying+default+values+in+a+retrieved+schema (en anglais).

 

File Name

Nom du fichier à générer et à charger.

Ce fichier est généré sur la même machine que le Studio Talend ou que le Job contenant le tVerticaOutputBulkExec puis est chargé dans la base de données spécifiée dans le champ Host.

 

Append

Cochez cette option pour ajouter des nouvelles lignes à la fin du fichier.

 

Use schema columns for Copy

Cochez cette case pour inclure dans l'instruction COPY les colonnes de la table Vertica dans les données à charger. Pour plus d'informations concernant l'instruction COPY, consultez http://my.vertica.com/docs/4.1/HTML/Master/1668.htm (en anglais).

Advanced settings

Additional JDBC Parameters

Ajoutez des paramètres JDBC supplémentaires nécessaires à la connexion à la base de données.

Cette option n'est pas disponible lorsque vous cochez la case Use an existing connection dans la vue Basic settings.

 

Write to ROS (Read Optimized Store)

Cochez cette case pour stocker les données dans une mémoire physique, et ainsi optimiser la lecture de ces données, puisqu'elles seront compressées et pré-triées.

 

Exit job if no row was loaded

Le Job s'arrête automatiquement si aucune ligne n'a été chargée.

 

Field Separator

Caractère, chaîne ou expression régulière séparant les champs.

 

Null string

Chaîne de caractères affichée pour signifier que la valeur est nulle.

 

Include header

Cochez cette case pour inclure l'en-tête des colonnes dans le fichier.

 

Encoding

Sélectionnez l'encodage à partir de la liste ou sélectionnez Custom et définissez-le manuellement. Ce champ est obligatoire pour la manipulation des données de base de données.

 

Rejected data file

Spécifiez le fichier dans lequel vous souhaitez que soient écrites les lignes rejetées.

 

Exception log file

Spécifiez le fichier dans lequel vous souhaitez que soit écrite une explication pour chaque ligne rejetée.

 

tStatCatcher Statistics

Cochez cette case pour collecter les données de log au niveau du composant.

Global Variables

ACCEPTED_ROW_NUMBER : le nombre de lignes chargées dans la base de données.

REJECTED_ROW_NUMBER : le nombre de lignes rejetées.

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Ce composant est principalement utilisé lorsqu'aucune transformation particulière n'est requise sur les données à charger dans la base de données.

Limitation

Du fait d'une incompatibilité de licence, un ou plusieurs Jar requis pour utiliser ce composant ne sont pas fournis. Vous pouvez installer les Jar manquants pour ce composant en cliquant sur le bouton Install dans l'onglet Component. Vous pouvez également trouver les Jar manquants et les ajouter dans l'onglet Modules de la perspective Integration de votre studio. Pour plus d'informations, consultez la page https://help.talend.com/display/KB/How+to+install+external+modules+in+the+Talend+products (en anglais) ou la section décrivant comment configurer le studio, dans le Guide d'installation Talend.

Conseils et techniques

Utilisés ensemble, le Studio Talend et la base de données Vertica permettent de créer des applications d'entrepôt de données et de datamart très rapides et abordables. Pour plus d'informations sur la manière de configurer le Studio Talend pour se connecter à Vertica, consultez Talend and HP Vertica Tips and Techniques (en anglais).

Scénarios associés

Pour un scénario associé au tVerticaOutputBulkExec, consultez :