Propriétés du tVerticaBulkExec Standard - 7.3

Vertica

Version
7.3
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Composants Database (Intégration) > Composants Vertica
Gouvernance de données > Systèmes tiers > Composants Database (Intégration) > Composants Vertica
Qualité et préparation de données > Systèmes tiers > Composants Database (Intégration) > Composants Vertica
Last publication date
2024-02-22

Ces propriétés sont utilisées pour configurer le tVerticaBulkExec s'exécutant dans le framework de Jobs Standard.

Le composant tVerticaBulkExec Standard appartient à la famille Bases de données.

Le composant de ce framework est disponible dans tous les produits Talend.

Remarque : Ce composant est une version spécifique d'un connecteur à une base de données dynamique. Les propriétés associées aux paramètres de la base de données dépendent du type de base de données sélectionné. Pour plus d'informations concernant les connecteurs dynamiques aux bases de données, consultez Composants de bases de données dynamiques.

Paramètres simples

Base de données

Sélectionnez un type de base de données dans la liste et cliquez sur Apply.

Property Type

Sélectionnez la manière de configurer les informations de connexion.

  • Built-In : les paramètres de connexion seront définis localement pour ce composant. Vous devez spécifier manuellement les valeurs pour toutes les propriétés de connexion.

  • Repository : les paramètres de connexion stockés centralement dans le Repository > Metadata seront réutilisés par ce composant. Vous devez cliquer sur le bouton [...] et, dans la boîte de dialogue Repository Content, sélectionnez les détails de connexion à réutiliser. Toutes les propriétés de connexion seront automatiquement renseignées.

DB Version

Sélectionnez la version de la base de données.

Use an existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat dans la liste Component list pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

Notez que lorsqu'un Job contient un Job parent et un Job enfant, si vous devez partager une connexion existante entre ces deux niveaux, par exemple pour partager la connexion créée par le Job parent au Job enfant, vous devez :

  1. au niveau du Job parent, enregistrer la connexion à la base de données à partager dans la vue Basic settings du composant de connexion créant cette connexion à la base de données.

  2. au niveau du Job enfant, utiliser un composant de connexion dédié afin de lire cette connexion enregistrée.

Pour un exemple de partage d'une connexion à une base de données à travers différents niveaux de Jobs, consultez le Guide d'utilisation du Studio Talend .

Host

Adresse IP ou le nom d'hôte de la base de données.

Port

Numéro du port d'écoute de la base de données.

Database

Nom de la base de données.

Schema

Schéma de la base de données.

Username et Password

Données d'authentification de l'utilisateur ou de l'utilisatrice de la base de données.

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres.

Table

Nom de la table dans laquelle écrire les données.

Action on table

Sélectionnez une opération à effectuer sur la table définie, vous pouvez effectuer l'une des opérations suivantes :

  • Default : n'effectuer aucune opération de table.

  • Drop and create table : la table est supprimée et de nouveau créée.

  • Create table : la table n'existe pas et est créée.

  • Create table if does not exist : créer la table si elle n'existe pas encore.

  • Drop table if exists and create : supprimer la table si elle existe déjà, puis en créer une nouvelle.

  • Clear table : le contenu de la table est supprimé. Vous pouvez annuler cette opération.

Use existing dynamic schema

Sélectionnez cette option pour utiliser un schéma dynamique généré par un composant tSetDynamicSchema. Cette option nécessite au moins un composant tSetDynamicSchema.

Dans la liste déroulante Dynamic schema, sélectionnez le composant générant le schéma dynamique souhaité.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-07 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.

Schema et Edit schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

  • Built-in : le schéma est créé et conservé localement pour ce composant seulement.

  • Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets.

Lorsque le schéma à réutiliser contient des valeurs par défaut de type Integer ou Function, assurez-vous que ces valeurs par défaut ne sont pas entourées de guillemets. Si elles le sont, supprimez manuellement les guillemets.

Pour plus d'informations, consultez la description relative à la récupération des schémas de tables dans le Guide d'utilisation du Studio Talend.

Créez le schéma en cliquant sur le bouton Edit Schema.
Remarque : Si vous effectuez des modifications, le schéma passe automatiquement en type built-in.
  • View schema : sélectionnez cette option afin de voir uniquement le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

Use schema columns for Copy

Cochez cette case pour utiliser l'option de colonne dans l'instruction COPY afin de restreindre la charge à une ou plusieurs colonne(s) spécifiée(s) dans la table. Pour plus d'informations, consultez Vertica COPY SQL Statement (en anglais).

File Name

Chemin d'accès au fichier duquel charger les données.

Le fichier doit se situer sur la machine où le Studio est installé ou celle où le Job utilisant ce composant est déployé.

Cette propriété est disponible uniquement lorsqu'il n'y a pas de flux d'entrée.

Compression mode

Sélectionnez le mode de compression pour le fichier duquel charger les données.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Paramètres avancés

Additional JDBC Parameters

Spécifiez des paramètres JDBC supplémentaires pour la connexion à la base de données créée.

Cette propriété est indisponible lorsque la case Use an existing connection de la vue Basic settings est cochée.

Action on data

Sélectionnez une action à effectuer sur les données de la table définie.

  • Bulk insert : insère plusieurs lignes dans la table en une fois, au lieu d'insérer les lignes une par une. Le Job s'arrête lorsqu'il détecte des doublons.

  • Bulk update : effectue plusieurs mises à jour simultanées sur différentes lignes.

Stream name

Nom du flux d'un chargement, permettant d'identifier un chargement particulier.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Write to ROS (Read Optimized Store)

Cochez cette case pour stocker les données dans une zone de chargement physique, pour en optimiser la lecture, lors de la compression et du pré-tri des données.

Exit Job on no rows loaded

Le Job s'arrête automatiquement si aucune ligne n'est chargée.

Missing columns as null

Cochez cette case pour insérer des valeurs NULL pour les colonnes manquantes lorsque les données sont insuffisantes pour correspondre aux colonnes spécifiées dans le schéma.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Skip Header

Cochez cette case et, dans le champ qui s'affiche, spécifiez le nombre d'enregistrements à ignorer dans le fichier.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Record terminator

Cochez cette case et, dans le champ qui s'affiche, spécifiez la chaîne de caractères littéraux utilisée pour indiquer la fin de chaque enregistrement dans le fichier.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Enclosed by character

Cochez cette case pour configurer le caractère entourant les données.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Escape char

Cochez cette case et, dans le champ qui s'affiche, spécifiez le caractère d'échappement pour le chargement des données dans Vertica. Par défaut, la case est cochée est le caractère d'échappement est \.

Fields terminated by

Caractère, chaîne de caractères ou expression régulière pour séparer les champs.

Null string

Chaîne de caractères affichée pour indiquer que la valeur est nulle.

Reject not fitted values

Cochez cette case pour rejeter les lignes de données de type char, varchar, binary et varbinary si elles ne vont pas dans la table cible.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Maximum number of rejected records

Cochez cette case et, dans le champ qui s'affiche, spécifiez le nombre maximal d'enregistrements pouvant être rejetés avant échec du chargement.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Stop and rollback if any row is rejected

Cochez cette case pour arrêter un chargement et effectuer un rollback sans charger de données si la moindre ligne est rejetée.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Don't commit

Cochez cette case pour effectuer une transaction de chargement de masse sans commiter automatiquement les résultats. Cette option est utile si vous souhaitez exécuter plusieurs chargements de masse en une seule transaction.

Cette propriété est disponible uniquement lorsque vous utilisez Vertica 6.0 ou une version supérieure.

Rejected data file

Spécifiez le fichier dans lequel écrire les lignes rejetées.

Cette propriété est disponible uniquement lorsque l'action Bulk insert est sélectionnée dans la liste Action on data.

Exception log file

Spécifiez le fichier dans lequel écrire le log des exceptions. Ce log explique pourquoi chaque ligne rejetée est rejetée.

Cette propriété est disponible uniquement lorsque l'action Bulk insert est sélectionnée dans la liste Action on data.

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant.

Variables globales

ACCEPTED_ROW_NUMBER

Nombre de lignes à charger dans la base de données. Cette variable est une variable After et retourne un entier.

REJECTED_ROW_NUMBER

Nombre de lignes rejetées. Cette variable est une variable After et retourne un entier.

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères.

Utilisation

Règle d'utilisation

Le Studio Talend et la base de données Vertica permettent de créer des applications de data warehouse et de datamart très rapides et abordables. Pour plus d'informations concernant la manière de configurer le Studio Talend pour se connecter à Vertica, consultez Talend and HP Vertica Tips and Techniques (en anglais).

Vous pouvez utiliser ce composant de l'une des manières suivantes pour écrire des données dans Vertica.

  • il peut être utilisé en standalone dans un sous-Job pour écrire des données dans Vertica à partir d'un fichier généré par un tVerticaOutputBulk.

  • Vous pouvez relier un composant tFileInputRaw à ce composant à l'aide d'un lien Row > Main pour écrire des données dans Vertica. Ainsi, le tFileInputRaw doit être en mode Stream the file et doit contenir une colonne de type Object dans son schéma.

Paramètres dynamiques

Cliquez sur le bouton [+] pour ajouter une ligne à la table. Dans le champ Code, saisissez une variable de contexte afin de sélectionner dynamiquement votre connexion à la base de données parmi celles prévues dans votre Job. Cette fonctionnalité est utile si vous devez accéder à plusieurs tables de bases de données ayant la même structure mais se trouvant dans différentes bases de données, en particulier lorsque vous travaillez dans un environnement dans lequel vous ne pouvez pas changer les paramètres de votre Job, par exemple lorsque votre Job doit être déployé et exécuté indépendamment d'un Studio Talend.

La table Dynamic settings est disponible uniquement lorsque la case Use an existing connection est cochée dans la vue Basic settings. Lorsqu'un paramètre dynamique est configuré, la liste Component List de la vue Basic settings devient inutilisable.

Pour des exemples d'utilisation de paramètres dynamiques, consultez Lire des données dans des bases de données MySQL à l'aide de connexions dynamiques basées sur les variables de contexte et Lire des données à partir de différentes bases de données MySQL à l'aide de paramètres de connexion chargés dynamiquement. Pour plus d'informations concernant les paramètres dynamiques (Dynamic settings) et les variables de contexte, consultez le Guide d'utilisation du Studio Talend.