Propriétés du tSQLDWHBulkExec Standard - 7.0

Azure SQL Data Warehouse

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure SQL Data Warehouse
Gouvernance de données > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure SQL Data Warehouse
Qualité et préparation de données > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure SQL Data Warehouse
EnrichPlatform
Studio Talend

Ces propriétés sont utilisées pour configurer le tSQLDWHBulkExec s'exécutant dans le framework de Jobs Standard.

Le composant tSQLDWHBulkExec Standard appartient à deux familles : Cloud and Databases.

Le composant de ce framework est disponible dans tous les produits Talend.

Basic settings

Type de propriété

Sélectionnez la manière de configurer les informations de connexion.

  • Built-In : Les paramètres de connexion seront définis localement pour ce composant. Vous devez spécifier manuellement les valeurs pour toutes les propriétés de connexion.

  • Repository : Les paramètres de connexion stockés centralement dans le Repository > Metadata seront réutilisés par ce composant. Vous devez cliquer sur le bouton [...] et, dans la boîte de dialogue Repository Content, sélectionnez les détails de connexion à réutiliser.

Use an existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat dans la liste Component list pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

Notez que lorsqu'un Job contient un Job parent et un Job enfant, si vous devez partager une connexion existante entre ces deux niveaux, par exemple pour partager la connexion créée par le Job père au Job fils, vous devez :

  1. au niveau du Job père, enregistrer la connexion à la base de données à partager dans la vue Basic settings du composant de connexion créant cette connexion à la base de données.

  2. au niveau du Job fils, utiliser un composant de connexion dédié afin de lire cette connexion enregistrée.

Pour un exemple de partage d'une connexion à une base de données à travers différents niveaux de Jobs, consultez le Guide utilisateur du Studio Talend .

JDBC Provider

Sélectionnez le fournisseur du pilote JDBC à utiliser.

Host

Spécifiez l'adresse IP ou le nom d'hôte de l'entrepôt Azure SQL Data Warehouse à utiliser.

Port

Spécifiez le numéro du port d'écoute de l'entrepôt Azure SQL Data Warehouse à utiliser.

Schema

Saisissez le nom du schéma Azure SQL Data Warehouse.

Database

Spécifiez le nom de l'entrepôt Azure SQL Data Warehouse à utiliser.

Username et Password

Saisissez les informations d'authentification utilisateur pour accéder à Azure SQL Data Warehouse.

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres.

Additional JDBC Parameters

Définissez des propriétés de connexion supplémentaires pour la connexion à la base de données que vous créez. Les propriétés sont séparées par un point-virgule et chaque propriété est une paire clé-valeur. Par exemple, encrypt=true;trustServerCertificate=false; hostNameInCertificate=*.database.windows.net;loginTimeout=30; pour une connexion à la base de données Azure SQL.

Table

Spécifiez le nom de la table de SQL Data Warehouse dans laquelle charger les données.

Action on table

Sélectionnez une opération à effectuer sur la table définie, vous pouvez effectuer l'une des opérations suivantes :

  • None : aucune opération n'est effectuée.

  • Drop and create table : la table est supprimée et créée à nouveau.

  • Create table : la table n'existe pas et est créée.

  • Create table if not exists : la table est créée si elle n'existe pas.

  • Drop table if exists and create : la table est supprimée si elle existe déjà et créée à nouveau.

  • Clear table : le contenu de la table est supprimé. Vous pouvez annuler cette opération.

  • Truncate table : le contenu de la table est supprimé. Vous ne pouvez pas annuler cette opération.

Schema et Edit schema

Un schéma est une description de lignes, il définit le nombre de champs qui sont traités et passés au composant suivant. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

  • Built-In : le schéma est créé et conservé ponctuellement pour ce composant seulement. Consultez également : le Guide utilisateur du Studio Talend .

  • Repository : Le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets. Consultez également : le Guide utilisateur du Studio Talend .

Cliquez sur Edit schema pour modifier le schéma. Notez que si vous effectuez des modifications, le schéma passe automatiquement en type built-in.

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

Azure Storage

Sélectionnez le type de stockage Azure dans lequel charger les données, Blob Storage ou Data Lake Store.

Account Name

Saisissez le nom de votre compte pour accéder à Azure Blob Storage ou Azure Data Lake Store.

Access key

Saisissez la clé associée au compte de stockage auquel vous devez accéder. Deux clés sont disponibles pour chaque compte. Par défaut, n'importe laquelle peut être utilisée pour accéder au compte.

Cette propriété est disponible uniquement lorsque l'option Blob Storage est sélectionnée dans la liste déroulante Azure Storage.

Container

Saisissez le nom du conteneur d'objets blob.

Cette propriété est disponible uniquement lorsque l'option Blob Storage est sélectionnée dans la liste déroulante Azure Storage.

Authentication key

Saisissez la clé d'authentification requise pour accéder à votre Azure Data Lake Store.

Cette propriété est disponible uniquement lorsque l'option Data Lake Store est sélectionnée dans la liste déroulante Azure Storage.

Client Id

Saisissez l'ID de votre application (également appelée ID du client).

Cette propriété est disponible uniquement lorsque l'option Data Lake Store est sélectionnée dans la liste déroulante Azure Storage.

OAuth 2.0 token endpoint

Copiez-collez l'endpoint du jeton OAuth 2.0 que vous pouvez obtenir dans la page App registrations.

Cette propriété est disponible uniquement lorsque l'option Data Lake Store est sélectionnée dans la liste déroulante Azure Storage.

Azure Storage Location

Spécifiez l'emplacement où est créé votre compte Azure Blob Storage ou Azure Data Lake Store.

Advanced settings

File format

Sélectionnez le format de fichier définissant les données externes stockées dans votre Azure Blob Storage ou Azure Data Lake Store, Delimited Text, Hive RCFile, Hive ORC, ou Parquet.

Pour plus d'informations concernant les formats de fichiers, consultez CREATE EXTERNAL FILE FORMAT.

Field separator

Spécifiez le(s) caractère(s) indiquant la fin de chaque champ, dans le fichier délimité.

Cette propriété est disponible uniquement lorsque l'option Delimited Text est sélectionnée dans la liste déroulante File format.

Enclosed by

Cochez cette case et, dans le champ proche, spécifiez le caractère entourant la chaîne de caractères dans le fichier délimité.

Cette propriété est disponible uniquement lorsque l'option Delimited Text est sélectionnée dans la liste déroulante File format.

Date format

Cochez cette case et, dans le champ proche, spécifiez le format personnalisé pour toutes les données d'heure et de date dans le fichier délimité. Pour plus d'informations concernant le format de date, consultez CREATE EXTERNAL FILE FORMAT.

Cette propriété est disponible uniquement lorsque l'option Delimited Text est sélectionnée dans la liste déroulante File format.

Use type default

Cochez cette case pour stocker chaque valeur manquante à l'aide de la valeur par défaut du type de données de la colonne correspondante.

Décochez cette case pour stocker chaque valeur manquante dans le fichier délimité en tant que NULL.

Cette propriété est disponible uniquement lorsque l'option Delimited Text est sélectionnée dans la liste déroulante File format.

Serde Method

Sélectionnez une méthode Hive de sérialisation et désérialisation.

Cette propriété est disponible lorsque l'option Hive RCFile est sélectionnée dans la liste déroulante File format.

Compressed by

Cochez cette case si les données externes sont compressées. Dans la liste déroulante qui s'affiche, sélectionnez la méthode de compression.

Data import reject options

Cochez cette case pour spécifier les options de rejet suivantes.

  • Reject type : spécifiez comment traiter les lignes rejetées.

    • Value : si le nombre de lignes rejetées dépasse la valeur spécifiée dans le champ Reject value, le chargement échoue.
    • Percentage : si le pourcentage de lignes rejetées dépasse la valeur spécifiée dans le champ Reject value, le chargement échoue.
  • Reject value : valeur de rejet selon le type de rejet. Pour un pourcentage, la valeur est celle du pourcentage, sans le symbole %.

  • Reject sample value : nombre de lignes à tenter de récupérer avant le calcul du pourcentage des lignes rejetées.

Pour plus d'informations concernant les options de rejet, consultez CREATE EXTERNAL TABLE.

Distribution Option

Sélectionnez le modèle de partitionnement (sharding) utilisé pour distribuer les données dans la table, Round Robin, Hash, ou Replicate. Pour plus d'informations concernant les modèles de partitionnement supportés par Azure SQL Data Warehouse, consultez Azure SQL Data Warehouse - Architecture MPP (Massively Parallel Processing).

Cette propriété est disponible lorsqu'une option relative à la création de table est sélectionnée dans la liste déroulante Action on table.

Distribution Column Name

Nom de la colonne de distribution pour une table e distribution par hachage.

Cette propriété est disponible uniquement lorsque l'option Hash est sélectionnée dans la liste déroulante Distribution Option.

Table Option

Sélectionnez le type d'index de la table, Clustered Columnstore Index, Heap, ou Clustered Index. Pour plus d'informations, consultez Indexation de tables dans SQL Data Warehouse.

Cette propriété est disponible lorsqu'une option relative à la création de table est sélectionnée dans la liste déroulante Action on table.

Index column(s)

Spécifiez le nom d'une ou plusieurs colonne(s) clé(s) dans l'index. Si plusieurs colonnes sont spécifiées, séparez-les par une virgule.

Cette propriété est disponible uniquement lorsque l'option Clustered Index est sélectionnée dans la liste déroulante Table Option.

Partition

Cochez cette case pour spécifier les options de partitionnement suivantes :

  • Partition column name : spécifiez le nom de la colonne utilisée pour partitionner la table.

  • Range : spécifiez la manière d'inclure la valeur limite dans la plage de limite.

    • Left : la valeur limite est incluse dans la plage gauche de la limite.

    • Right : la valeur limite est incluse dans la plage droite de la limite.

  • Partition For Values : spécifiez les valeurs (séparées par une virgule) utilisées pour la partition.

Pour plus d'informations concernant les partitions de tables, consultez Partitionnement de tables dans SQL Data Warehouse.

Cette propriété est disponible lorsqu'une option relative à la création de table est sélectionnée dans la liste déroulante Action on table.

Statistiques du tStatCatcher

Cochez cette case pour collecter les données de log, aussi bien au niveau du Job qu'au niveau de chaque composant.

Variables globales

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères.

NB_LINE_INSERTED

Nombre de lignes insérées. Cette variable est une variable After et retourne un entier.

Utilisation

Règle d'utilisation

Ce composant peut être utilisé en standalone dans un Job ou un sous-job.

Limitation

Certaines fonctionnalités supportées par d'autres bases de données ne sont pas supportées par Azure SQL Data Warehouse. Pour plus d'informations, consultez Fonctionnalités de table non prises en charge.