Propriétés du tAzureSynapseBulkExec Standard - 7.3

Azure SQL Data Warehouse

EnrichVersion
Cloud
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
EnrichPlatform
Studio Talend
task
Création et développement > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure SQL Data Warehouse
Gouvernance de données > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure SQL Data Warehouse
Qualité et préparation de données > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure SQL Data Warehouse

Ces propriétés sont utilisées pour configurer le tAzureSynapseBulkExec s'exécutant dans le framework de Jobs Standard.

Le composant tAzureSynapseBulkExec Standard appartient à deux familles : Cloud et Bases de données.

Le composant de ce framework est disponible dans tous les produits Talend.

Basic settings

Property Type

Sélectionnez la manière de configurer les informations de connexion.

  • Built-In : les paramètres de connexion seront définis localement pour ce composant. Vous devez spécifier manuellement les valeurs pour toutes les propriétés de connexion.

  • Repository : les paramètres de connexion stockés centralement dans le Repository > Metadata seront réutilisés par ce composant. Vous devez cliquer sur le bouton [...] et, dans la boîte de dialogue Repository Content, sélectionnez les détails de connexion à réutiliser. Toutes les propriétés de connexion seront automatiquement renseignées.

Use an existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat dans la liste Component list pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

Notez que lorsqu'un Job contient un Job parent et un Job enfant, si vous devez partager une connexion existante entre ces deux niveaux, par exemple pour partager la connexion créée par le Job parent au Job enfant, vous devez :

  1. au niveau du Job parent, enregistrer la connexion à la base de données à partager dans la vue Basic settings du composant de connexion créant cette connexion à la base de données.

  2. au niveau du Job enfant, utiliser un composant de connexion dédié afin de lire cette connexion enregistrée.

Pour un exemple de partage d'une connexion à une base de données à travers différents niveaux de Jobs, consultez le Guide d'utilisation du Studio Talend .

JDBC Provider

Sélectionnez le fournisseur du pilote JDBC à utiliser.

Host

Spécifiez l'adresse IP ou le nom d'hôte de l'entrepôt Azure SQL Data Warehouse à utiliser.

Port

Spécifiez le numéro du port d'écoute de l'entrepôt Azure SQL Data Warehouse à utiliser.

Schema

Saisissez le nom du schéma Azure SQL Data Warehouse.

Database

Spécifiez le nom de l'entrepôt Azure SQL Data Warehouse à utiliser.

Username et Password

Saisissez les informations d'authentification utilisateur·rice pour accéder à Azure SQL Data Warehouse.

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres.

Additional JDBC Parameters

Définissez des propriétés de connexion supplémentaires pour la connexion à la base de données que vous créez. Les propriétés sont séparées par un point-virgule et chaque propriété est une paire clé-valeur. Par exemple, encrypt=true;trustServerCertificate=false; hostNameInCertificate=*.database.windows.net;loginTimeout=30; pour une connexion à la base de données Azure SQL.

Table

Spécifiez le nom de la table de SQL Data Warehouse dans laquelle charger les données.

Action on table

Sélectionnez une opération à effectuer sur la table définie, vous pouvez effectuer l'une des opérations suivantes :

  • None : n'effectuer aucune opération de table.

  • Drop and create table : la table est supprimée et de nouveau créée.

  • Create table : la table n'existe pas et est créée.

  • Create table if not exists : créer la table si nécessaire.

  • Drop table if exists and create : la table est supprimée si elle existe déjà et de nouveau créée.

  • Clear table : le contenu de la table est supprimé. Vous pouvez annuler cette opération.

  • Truncate table : le contenu de la table est supprimé. Vous ne pouvez pas annuler l'opération (rollback).

Schema et Edit schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

  • Built-in : le schéma est créé et conservé localement pour ce composant seulement.

  • Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets.

Créez le schéma en cliquant sur le bouton Edit Schema.
Remarque : Si vous effectuez des modifications, le schéma passe automatiquement en type built-in.
  • View schema : sélectionnez cette option afin de voir uniquement le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

Load method

Configurez la méthode de chargement des données. Deux options sont fournies : Copy et PolyBase. Consultez Stratégies de chargement des données pour le pool SQL Synapse pour plus d'informations.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.
Azure Storage

Sélectionnez le type de stockage Azure duquel charger les données. Vous pouvez sélectionner Blob Storage, Data Lake Storage Gen1 ou Data Lake Storage Gen2. Notez que l'option Data Lake Storage Gen1 n'est pas disponible si l'option Copy est sélectionnée dans la liste déroulante Load method.

Remarque : L'option Data Lake Storage Gen2 est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.

Authentication method

Sélectionnez l'une des méthodes d'authentification suivantes dans la liste déroulante.
  • Shared access signatures, qui nécessite une signature d'accès partagé. Pour plus d'informations, consultez Constructing the Account SAS URI (en anglais).
  • Storage account key, qui nécessite une clé d'accès au compte. Consultez Manage a storage account pour plus d'informations.
  • Azure Active Directory, qui est disponible lorsque lorsque l'option Authenticate using Azure Active Directory est sélectionné dans la vue Advanced settings (Paramètres avancés).

Cette option est disponible lorsque l'option Copy (Copier) est sélectionnée dans la liste déroulante Load method (Méthode de chargement).

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.
Account Name

Saisissez le nom de votre compte pour accéder à Azure Blob Storage ou Azure Data Lake Storage.

Access key

Saisissez la clé associée au compte de stockage auquel vous devez accéder. Deux clés sont disponibles pour chaque compte et, par défaut, les deux peuvent être utilisées pour cet accès. Sélectionnez dans la liste déroulante le composant dont les informations de connexion seront utilisées pour configurer la connexion à Azure storage.

Cette propriété est disponible uniquement lorsque l'option Blob Storage est sélectionnée dans la liste déroulante Azure Storage.

SAS Token

Saisissez la valeur du jeton SAS. Pour plus d'informations, consultez Accorder un accès limité aux ressources du Stockage Azure à l’aide des signatures d’accès partagé (SAP). Cette option n'est disponible que pour l'option Shared access signatures (Signatures d'accès partagées) de la liste déroulante Authentication method (Méthode d'authentification).

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.

Endpoint suffix

Saisissez l'endpoint du service Azure Storage.

La combinaison du nom de compte et de l'endpoint de service Azure Storage forme l'endpoint du compte de stockage.

La valeur par défaut varie selon le paramètre Azure Storage, "dfs.core.windows.net" pour Data Lake Storage Gen2 et "blob.core.windows.net" pour Blob Storage.

Ce champ n'est disponible que pour l'option Copy (Copier) de la liste déroulante Load method (Méthode de chargement).

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.
Container

Saisissez le nom du conteneur d'objets blob.

Cette propriété est disponible uniquement lorsque l'option Blob Storage est sélectionnée dans la liste déroulante Azure Storage.

External paths

Saisissez les chemins externes desquels charger les données. Vous pouvez ajouter plusieurs chemins externes en cliquant sur le bouton +, en bas. Notez que les chemins externes sont des chemins relatifs, avec le conteneur comme racine.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.
Client Id

Saisissez l'ID de votre application (également appelée ID du client).

Ce champ est disponible lorsque l'option Data Lake Storage Gen1 est sélectionnée dans la liste déroulante Azure Storage.

OAuth 2.0 token endpoint

Dans le champ Token endpoint, copiez-collez l'endpoint du jeton OAuth 2.0 que vous pouvez obtenir à partir de la liste Endpoints dans la page App registrations de votre portail Azure.

Ce champ est disponible lorsque l'option Data Lake Storage Gen1 est sélectionnée dans la liste déroulante Azure Storage.

Azure Storage Location

Spécifiez l'emplacement où est créé votre compte Azure Blob Storage ou Azure Data Lake Storage.

Advanced settings

Secure transfer required

Sélectionnez cette option pour utiliser le transfert sécurisé pour la connexion à Azure Storage.

Cette option est disponible lorsque l'option Data Lake Storage Gen2 est sélectionnée dans la liste déroulante Azure Storage et que l'option PolyBase est sélectionnée dans la liste déroulante Load method dans la vue Basic settings.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.

Authenticate using Azure Active Directory

Cochez cette option pour utiliser l'authentification Azure Active Directory lors de l'établissement de la connexion. Consultez Azure AD Authentication pour des informations associées.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.
Format du fichier

Sélectionnez le format de fichier définissant les données externes stockées dans votre Azure Blob Storage ou Azure Data Lake Storage, Delimited Text, Hive RCFile, Hive ORC ou Parquet.

Cette option est disponible lorsque l'option PolyBase est sélectionnée dans la liste déroulante Load method dans la vue Basic settings.

Pour plus d'informations concernant les formats de fichiers, consultez CREATE EXTERNAL FILE FORMAT (en anglais).

File type

Sélectionnez le type de fichier définissant les données externes stockées dans votre Azure Blob Storage ou Azure Data Lake Storage, CSV, ORC ou Parquet.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings.

Pour plus d'informations concernant les formats de fichiers, consultez CREATE EXTERNAL FILE FORMAT (en anglais).

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.

Specify map to source table fields

Sélectionnez cette option pour mapper les champs du fichier source aux colonnes du schéma spécifique en saisissant des colonnes de schéma et des index de champs dans la table qui s'affiche. Notez que les index de champs du fichier source doivent être donnés en ordre croissant dans la table.

Si cette option n'est pas sélectionnée, les champs du fichier source seront mappés aux colonnes de schéma dans l'ordre par défaut.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.

First row

Configurez le nombre de lignes à traiter comme en-têtes dans le fichier source. La valeur par défaut est 1.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.
Field quote

Spécifiez le caractère utilisé comme caractère de citation (séparateur de chaînes de caractères) dans le fichier source.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.
Field Terminator

Spécifiez le caractère de fin de champ, indiquant la fin de chaque champ dans le fichier source.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.
Row terminator

Spécifiez le caractère de fin de ligne, indiquant la fin de chaque ligne dans le fichier source.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.
Date format

Spécifiez le format de date. La valeur par défaut est Session date format.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.
Encoding

Sélectionnez l'encodage dans la liste, UTF8 ou UTF16.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.

Identity insert

Sélectionnez cette option pour insérer les valeurs d'identité du fichier source dans la colonne d'identité. Pour plus d'informations, consultez COPY (Transact-SQL) (préversion).

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.

Max errors

Saisissez le nombre maximal d'erreurs autorisées avant que le processus ne s'arrête.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings.

Field separator

Spécifiez le(s) caractère(s) indiquant la fin de chaque champ, dans le fichier délimité.

Cette propriété est disponible lorsque l'option PolyBase est sélectionnée dans la liste déroulante Load method (Méthode de chargement), dans la vue Basic settings (Paramètres de base) et que Delimited Text (Fichier délimité) est sélectionnée dans la liste déroulante File Format (Format de fichier).

Enclosed by

Cochez cette case et, dans le champ proche, spécifiez le caractère entourant la chaîne de caractères dans le fichier délimité.

Cette propriété est disponible lorsque l'option PolyBase est sélectionnée dans la liste déroulante Load method (Méthode de chargement), dans la vue Basic settings (Paramètres de base) et que Delimited Text (Fichier délimité) est sélectionnée dans la liste déroulante File Format (Format de fichier).

Date format

Cochez cette case et, dans le champ proche, spécifiez le format personnalisé pour toutes les données d'heure et de date dans le fichier délimité. Pour plus d'informations concernant le format de date, consultez CREATE EXTERNAL FILE FORMAT.

Cette propriété est disponible lorsque l'option PolyBase est sélectionnée dans la liste déroulante Load method (Méthode de chargement), dans la vue Basic settings (Paramètres de base) et que Delimited Text (Fichier délimité) est sélectionnée dans la liste déroulante File Format (Format de fichier).

Use type default

Cochez cette case pour stocker chaque valeur manquante à l'aide de la valeur par défaut du type de données de la colonne correspondante.

Décochez cette case pour stocker chaque valeur manquante dans le fichier délimité en tant que NULL.

Cette propriété est disponible lorsque l'option PolyBase est sélectionnée dans la liste déroulante Load method (Méthode de chargement), dans la vue Basic settings (Paramètres de base) et que Delimited Text (Fichier délimité) est sélectionnée dans la liste déroulante File Format (Format de fichier).

Serde Method

Sélectionnez une méthode Hive de sérialisation et désérialisation.

Cette propriété est disponible lorsque l'option Hive RCFile est sélectionnée dans la liste déroulante File format.

Compressed by

Cochez cette case si les données externes sont compressées. Dans la liste déroulante qui s'affiche, sélectionnez la méthode de compression.

Data import reject options

Cochez cette case pour spécifier les options de rejet suivantes.

  • Reject type : spécifiez comment traiter les lignes rejetées.

    • Value : si le nombre de lignes rejetées dépasse la valeur spécifiée dans le champ Reject value, le chargement échoue.
    • Percentage : si le pourcentage de lignes rejetées dépasse la valeur spécifiée dans le champ Reject value, le chargement échoue.
  • Reject value : valeur de rejet selon le type de rejet. Pour un pourcentage, la valeur est celle du pourcentage, sans le symbole %.

  • Reject sample value : nombre de lignes à tenter de récupérer avant le calcul du pourcentage des lignes rejetées.

Cette option n'est disponible que pour l'option PolyBase de la liste déroulante Load method (Méthode de chargement).

Pour plus d'informations concernant les options de rejet, consultez CREATE EXTERNAL TABLE.

Distribution Option

Sélectionnez le modèle de partitionnement (sharding) utilisé pour distribuer les données dans la table, Round Robin, Hash ou Replicate. Pour plus d'informations concernant les modèles de partitionnement supportés par Azure SQL Data Warehouse, consultez Architecture Azure Synapse Analytics (anciennement SQL DW)..

Cette propriété est disponible lorsqu'une option relative à la création de table est sélectionnée dans la liste déroulante Action on table.

Distribution Column Name

Nom de la colonne de distribution pour une table e distribution par hachage.

Cette propriété est disponible uniquement lorsque l'option Hash est sélectionnée dans la liste déroulante Distribution Option.

Table Option

Sélectionnez le type d'index de la table, Clustered Columnstore Index, Heap ou Clustered Index. Pour plus d'informations, consultez Indexation de tables dans SQL Data Warehouse.

Cette propriété est disponible lorsqu'une option relative à la création de table est sélectionnée dans la liste déroulante Action on table.

Index column(s)

Spécifiez le nom d'une ou plusieurs colonne(s) clé(s) dans l'index. Si plusieurs colonnes sont spécifiées, séparez-les par une virgule.

Cette propriété est disponible uniquement lorsque l'option Clustered Index est sélectionnée dans la liste déroulante Table Option.

Partition

Cochez cette case pour spécifier les options de partitionnement suivantes :

  • Partition column name : spécifiez le nom de la colonne utilisée pour partitionner la table.

  • Range : spécifiez la manière d'inclure la valeur limite dans la plage de limite.

    • Left : la valeur limite est incluse dans la plage gauche de la limite.

    • Right : la valeur limite est incluse dans la plage droite de la limite.

  • Partition For Values : spécifiez les valeurs (séparées par une virgule) utilisées pour la partition.

Pour plus d'informations concernant les partitions de tables, consultez Partitionnement de tables dans SQL Data Warehouse.

Cette propriété est disponible lorsqu'une option relative à la création de table est sélectionnée dans la liste déroulante Action on table.

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant.

Variables globales

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères.

NB_LINE_INSERTED

Nombre de lignes insérées. Cette variable est une variable After et retourne un entier.

Utilisation

Règle d'utilisation

Ce composant peut être utilisé en standalone dans un Job ou un sous-Job.

Limitation

Certaines fonctionnalités supportées par d'autres bases de données ne sont pas supportées par Azure SQL Data Warehouse. Pour plus d'informations, consultez Fonctionnalités de table non prises en charge.