Propriétés du tVerticaBulkExec Standard - 6.5

Vertica

author
Talend Documentation Team
EnrichVersion
6.5
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Database > Composants Vertica
Gouvernance de données > Systèmes tiers > Composants Database > Composants Vertica
Qualité et préparation de données > Systèmes tiers > Composants Database > Composants Vertica
EnrichPlatform
Studio Talend

Ces propriétés sont utilisées pour configurer le tVerticaBulkExec s'exécutant dans le framework de Jobs Standard.

Le composant tVerticaBulkExec Standard appartient à la famille Databases.

Le composant de ce framework est disponible dans tous les produits Talend.

Basic settings

Property Type

Sélectionnez la manière de configurer les informations de connexion.

  • Built-In : Les paramètres de connexion seront définis localement pour ce composant. Vous devez spécifier manuellement les valeurs pour toutes les propriétés de connexion.

  • Repository : Les paramètres de connexion stockés centralement dans le Repository > Metadata seront réutilisés par ce composant. Vous devez cliquer sur le bouton [...] et, dans la boîte de dialogue Repository Content, sélectionnez les détails de connexion à réutiliser.

DB Version

Sélectionnez la version de la base de données.

Use an existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat dans la liste Component list pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

Notez que lorsqu'un Job contient un Job parent et un Job enfant, si vous devez partager une connexion existante entre ces deux niveaux, par exemple pour partager la connexion créée par le Job père au Job fils, vous devez :

  1. au niveau du Job père, enregistrer la connexion à la base de données à partager dans la vue Basic settings du composant de connexion créant cette connexion à la base de données.

  2. au niveau du Job fils, utiliser un composant de connexion dédié afin de lire cette connexion enregistrée.

Pour un exemple de partage d'une connexion à une base de données à travers différents niveaux de Jobs, consultez le Guide utilisateur du Studio Talend .

Host

Saisissez l'adresse IP ou le nom d'hôte de la base de données.

Port

Saisissez le numéro du port d'écoute de la base de données.

Database

Saisissez le nom de la base de données.

Schema

Schéma de la base de données.

Username et Password

Saisissez les données d'authentification de l'utilisateur de la base de données.

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres.

Table

Saisissez le nom de la table dans laquelle écrire les données.

Action on table

Sélectionnez une opération à effectuer sur la table définie, vous pouvez effectuer l'une des opérations suivantes :

  • Default : aucune opération n'est effectuée.

  • Drop and create table : la table est supprimée et créée à nouveau.

  • Create table : la table n'existe pas et est créée.

  • Create table if does not exist : la table est créée si elle n'existe pas.

  • Drop table if exist and create : la table est supprimée si elle existe déjà et créée à nouveau.

  • Clear table : le contenu de la table est supprimé. Vous pouvez annuler cette opération.

Schema et Edit schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) dans le Repository. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

  • Built-In : le schéma est créé et conservé ponctuellement pour ce composant seulement. Consultez également : le Guide utilisateur du Studio Talend .

  • Repository : Le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets. Consultez également : le Guide utilisateur du Studio Talend .

Lorsque le schéma à réutiliser contient des valeurs par défaut de type Integer ou Function, assurez-vous que ces valeurs par défaut ne sont pas entourées de guillemets. Si elles le sont, supprimez manuellement les guillemets.

Pour plus d'informations, consultez Vérification des valeurs par défaut dans un schéma récupéré.

Créez le schéma, en cliquant sur le bouton Edit Schema. Notez que si vous effectuez des modifications, le schéma passe automatiquement en type built-in.

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

Use schema columns for Copy

Cochez cette case pour utiliser l'option de colonne dans l'instruction COPY afin de restreindre la charge à une ou plusieurs colonne(s) spécifiée(s) dans la table. Pour plus d'informations, consultez Vertica COPY SQL Statement (en anglais).

File Name

Chemin d'accès au fichier duquel charger les données.

Le fichier doit se situer sur la machine où le Studio est installé ou celle où le Job utilisant ce composant est déployé.

Cette propriété est disponible uniquement lorsqu'il n'y a pas de flux d'entrée.

Compression mode

Sélectionnez le mode de compression pour le fichier duquel charger les données.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Advanced settings

Additional JDBC Parameters

Spécifiez des paramètres JDBC supplémentaires pour la connexion à la base de données en cours de création.

Cette propriété n'est pas disponible lorsque la case Use an existing connection est cochée.

Action on data

Sélectionnez une action à effectuer sur les données de la table définie.

  • Bulk insert : insère plusieurs lignes dans la table en une fois, au lieu d'insérer les lignes une par une. Si des doublons sont trouvés, le Job s'arrête.

  • Bulk update : effectue plusieurs mises à jour simultanées sur différentes lignes.

Stream name

Nom du flux d'un chargement, permettant d'identifier un chargement particulier.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Write to ROS (Read Optimized Store)

Cochez cette case pour stocker les données dans une zone de chargement physique, pour en optimiser la lecture, lors de la compression et du pré-tri des données.

Exit Job on no rows loaded

Le Job s'arrête automatiquement si aucune ligne n'est chargée.

Missing columns as null

Cochez cette case pour insérer des valeurs NULL pour les colonnes manquantes lorsque les données sont insuffisantes pour correspondre aux colonnes spécifiées dans le schéma.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Skip Header

Cochez cette case et, dans le champ qui s'affiche, spécifiez le nombre d'enregistrements à ignorer dans le fichier.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Record terminator

Cochez cette case et, dans le champ qui s'affiche, spécifiez la chaîne de caractères littéraux utilisée pour indiquer la fin de chaque enregistrement dans le fichier.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Enclosed by character

Cochez cette case pour configurer le caractère entourant les données.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Escape char

Cochez cette case et, dans le champ qui s'affiche, spécifiez le caractère d'échappement pour le chargement des données dans Vertica. Par défaut, la case est cochée est le caractère d'échappement est \.

Fields terminated by

Caractère, chaîne de caractères ou expression régulière pour séparer les champs.

Null String

Chaîne de caractères affichée pour indiquer que la valeur est nulle.

Reject not fitted values

Cochez cette case pour rejeter les lignes de données de type char, varchar, binary et varbinary si elles ne vont pas dans la table cible.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Maximum number of rejected records

Cochez cette case et, dans le champ qui s'affiche, spécifiez le nombre maximal d'enregistrements pouvant être rejetés avant échec du chargement.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Stop and rollback if any row is rejected

Cochez cette case pour arrêter un chargement et effectuer un rollback sans charger de données si la moindre ligne est rejetée.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Don't commit

Cochez cette case pour effectuer une transaction de chargement de masse sans commiter automatiquement les résultats. Cette option est utile si vous souhaitez exécuter plusieurs chargements de masse en une seule transaction.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Rejected data file

Spécifiez le fichier dans lequel écrire les lignes rejetées.

Cette propriété est disponible uniquement lorsque l'action Bulk insert est sélectionnée dans la liste Action on data.

Exception log file

Spécifiez le fichier dans lequel écrire le log d'erreur. Ce log explique pourquoi chaque ligne rejetée est rejetée.

Cette propriété est disponible uniquement lorsque l'action Bulk insert est sélectionnée dans la liste Action on data.

tStatCatcher Statistics

Cochez cette case pour collecter les données de log, aussi bien au niveau du Job qu'au niveau de chaque composant.

Variables globales

ACCEPTED_ROW_NUMBER

Nombre de lignes à charger dans la base de données. Cette variable est une variable After et retourne un entier.

REJECTED_ROW_NUMBER

Nombre de lignes rejetées. Cette variable est une variable After et retourne un entier.

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères.

Utilisation

Règle d'utilisation

Le Studio Talend et la base de données Vertica permettent de créer des applications d'entrepôt de données et de datamart très rapides et abordables. Pour plus d'informations sur la manière de configurer le Studio Talend pour se connecter à Vertica, consultez Talend and HP Vertica Tips and Techniques (en anglais).

Vous pouvez utiliser ce composant de l'une des manières suivantes pour écrire des données dans Vertica.

  • il peut être utilisé en standalone dans un sous-job pour écrire des données dans Vertica à partir d'un fichier généré par un tVerticaOutputBulk.

  • vous pouvez relier un composant tFileInputRaw à ce composant à l'aide d'un lien Row > Main pour écrire des données dans Vertica. Ainsi, le tFileInputRaw doit être en mode Stream the file et doit contenir une colonne de type Object dans son schéma.

Dynamic settings

Cliquez sur le bouton [+] pour ajouter une ligne à la table. Dans le champ Code, saisissez une variable de contexte afin de sélectionner dynamiquement votre connexion à la base de données parmi celles prévues dans votre Job. Cette fonctionnalité est utile si vous devez accéder à plusieurs tables de bases de données ayant la même structure mais se trouvant dans différentes bases de données, en particulier lorsque vous travaillez dans un environnement dans lequel vous ne pouvez pas changer les paramètres de votre Job, par exemple lorsque votre Job doit être déployé et exécuté dans un Studio Talend.

La table Dynamic settings est disponible uniquement lorsque la case Use an existing connection est cochée dans la vue Basic settings. Lorsqu'un paramètre dynamique est configuré, la liste Component List de la vue Basic settings devient inutilisable.

Pour des exemples relatifs à l'utilisation des paramètres dynamiques, consultez Lire des données dans des bases de données à l'aide de connexions dynamiques basées sur les variables de contexte et Lire des données à partir de différentes bases de données MySQL à l'aide de paramètres de connexion chargés dynamiquement. Pour plus d'informations concernant les paramètres dynamiques et les variables de contexte, consultez le Guide utilisateur du Studio Talend.