Propriétés du tAzureSynapseBulkExec Standard - 7.3

Property Type

Sélectionnez la manière de configurer les informations de connexion.

• Built-In : les paramètres de connexion seront définis localement pour ce composant. Vous devez spécifier manuellement les valeurs pour toutes les propriétés de connexion.

• Repository : les paramètres de connexion stockés centralement dans le Repository > Metadata seront réutilisés par ce composant. Vous devez cliquer sur le bouton [...] et, dans la boîte de dialogue Repository Content, sélectionnez les détails de connexion à réutiliser. Toutes les propriétés de connexion seront automatiquement renseignées.

Use an existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat dans la liste Component list pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

Notez que lorsqu'un Job contient un Job parent et un Job enfant, si vous devez partager une connexion existante entre ces deux niveaux, par exemple pour partager la connexion créée par le Job parent au Job enfant, vous devez :

1. au niveau du Job parent, enregistrer la connexion à la base de données à partager dans la vue Basic settings du composant de connexion créant cette connexion à la base de données.

2. au niveau du Job enfant, utiliser un composant de connexion dédié afin de lire cette connexion enregistrée.

Pour un exemple de partage d'une connexion à une base de données à travers différents niveaux de Jobs, consultez le Guide d'utilisation du Studio Talend .

JDBC Provider

Sélectionnez le fournisseur du pilote JDBC à utiliser.

Host

Saisissez l'adresse IP ou le nom d'hôte du serveur de la base de données ou de l'instance Azure Synapse Analytics à utiliser.

Si le service SQL Server Browser est en cours d'exécution sur la machine où se situe le serveur, vous pouvez vous connecter à une instance nommée via un port TCP dynamique et fournir le nom d'hôte et le nom d'instance dans ce champ, au format {host_name}\{instance_name}. Dans ce cas, laissez le champ Port vide. Consultez Service SQL Server Browser pour plus d'informations.

Port

Saisissez le numéro du port d'écoute du serveur de la base de données ou de l'instance Azure Synapse Analytics à utiliser.

Si le service SQL Server Browser est en cours d'exécution sur la machine où se situe le serveur, vous pouvez vous connecter à une instance nommée via un port TCP dynamique en fournissant le nom d'hôte et le nom d'instance dans le champ Host et en laissant ce champ vide. Consultez Service SQL Server Browser pour plus d'informations.

Schema

Saisissez le nom du schéma Azure SQL Data Warehouse.

Database

Spécifiez le nom de l'entrepôt Azure SQL Data Warehouse à utiliser.

Username et Password

Saisissez les informations d'authentification.

Pour saisir le mot de passe, cliquez sur le bouton [...] près du champ Password, saisissez le mot de passe entre guillemets doubles dans la boîte de dialogue et cliquez sur OK.

Vous pouvez utiliser Type 2 integrated authentication sous Windows en ajoutant integratedSecurity=true dans Additional JDBC Parameters et en laissant ces deux champs vides. Consultez la section Connexion avec une authentification intégrée sous Windows dans la page Création de l’URL de connexion, pour plus d'informations.

Additional JDBC Parameters

Définissez des propriétés de connexion supplémentaires pour la connexion à la base de données que vous créez. Les propriétés sont séparées par un point-virgule et chaque propriété est une paire clé-valeur. Par exemple, encrypt=true;trustServerCertificate=false; hostNameInCertificate=*.database.windows.net;loginTimeout=30; pour une connexion à la base de données Azure SQL.

Spécifiez le nom de la table de SQL Data Warehouse dans laquelle charger les données.

Sélectionnez une opération à effectuer sur la table définie, vous pouvez effectuer l'une des opérations suivantes :

• None : n'effectuer aucune opération de table.

• Drop and create table : la table est supprimée et de nouveau créée.

• Create table : la table n'existe pas et est créée.

• Create table if not exists : créer la table si nécessaire.

• Drop table if exists and create : la table est supprimée si elle existe déjà et de nouveau créée.

• Clear table : le contenu de la table est supprimé. Vous pouvez annuler cette opération.

• Truncate table : le contenu de la table est supprimé. Vous ne pouvez pas annuler l'opération (rollback).

Schema et Edit schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

• Built-in : le schéma est créé et conservé localement pour ce composant seulement.

• Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Job Designs et projets.

• View schema : sélectionnez cette option afin de voir uniquement le schéma.

• Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

• Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

Load method

Configurez la méthode de chargement des données. Deux options sont fournies : Copy et PolyBase. Consultez Stratégies de chargement des données pour le pool SQL Synapse pour plus d'informations.

Sélectionnez le type de stockage Azure duquel charger les données. Vous pouvez sélectionner Blob Storage, Data Lake Storage Gen1 ou Data Lake Storage Gen2. Notez que l'option Data Lake Storage Gen1 n'est pas disponible si l'option Copy est sélectionnée dans la liste déroulante Load method.

Authentication method

Cette option est disponible lorsque l'option Copy (Copier) est sélectionnée dans la liste déroulante Load method (Méthode de chargement).

Saisissez le nom de votre compte pour accéder à Azure Blob Storage ou Azure Data Lake Storage.

Saisissez la clé associée au compte de stockage auquel vous devez accéder. Deux clés sont disponibles pour chaque compte. Par défaut, n'importe laquelle peut être utilisée pour accéder au compte. Sélectionnez dans la liste déroulante le composant dont les informations de connexion seront utilisées pour configurer la connexion à Azure Storage.

Cette propriété est disponible uniquement lorsque l'option Blob Storage est sélectionnée dans la liste déroulante Azure Storage.

SAS Token

Saisissez la valeur du jeton SAS. Pour plus d'informations, consultez Accorder un accès limité aux ressources du Stockage Azure à l’aide des signatures d’accès partagé (SAP). Cette option n'est disponible que pour l'option Shared access signatures (Signatures d'accès partagées) de la liste déroulante Authentication method (Méthode d'authentification).

Endpoint suffix

Saisissez l'endpoint du service Azure Storage.

La combinaison du nom de compte et de l'endpoint de service Azure Storage forme l'endpoint du compte de stockage.

La valeur par défaut varie selon le paramètre Azure Storage, "dfs.core.windows.net" pour Data Lake Storage Gen2 et "blob.core.windows.net" pour Blob Storage.

Ce champ n'est disponible que pour l'option Copy (Copier) de la liste déroulante Load method (Méthode de chargement).

Saisissez le nom du conteneur d'objets blob.

Cette propriété est disponible uniquement lorsque l'option Blob Storage est sélectionnée dans la liste déroulante Azure Storage.

External paths

Saisissez les chemins externes desquels charger les données. Vous pouvez ajouter plusieurs chemins externes en cliquant sur le bouton +, en bas. Notez que les chemins externes sont des chemins relatifs, avec le conteneur comme racine.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings.

Saisissez l'ID de votre application (également appelée ID du client).

Ce champ est disponible lorsque l'option Data Lake Storage Gen1 est sélectionnée dans la liste déroulante Azure Storage.

Dans le champ Token endpoint, copiez-collez l'endpoint du jeton OAuth 2.0 que vous pouvez obtenir à partir de la liste Endpoints dans la page App registrations de votre portail Azure.

Ce champ est disponible lorsque l'option Data Lake Storage Gen1 est sélectionnée dans la liste déroulante Azure Storage.

Spécifiez l'emplacement où est créé votre compte Azure Blob Storage ou Azure Data Lake Storage.

Secure transfer required

Sélectionnez cette option pour utiliser le transfert sécurisé pour la connexion à Azure Storage.

Cette option est disponible lorsque l'option Data Lake Storage Gen2 est sélectionnée dans la liste déroulante Azure Storage et que l'option PolyBase est sélectionnée dans la liste déroulante Load method dans la vue Basic settings.

Authenticate using Azure Active Directory

Cochez cette option pour utiliser l'authentification Azure Active Directory lors de l'établissement de la connexion. Consultez Azure AD Authentication pour des informations associées.

Sélectionnez le format de fichier définissant les données externes stockées dans votre Azure Blob Storage ou Azure Data Lake Storage, Delimited Text, Hive RCFile, Hive ORC ou Parquet.

Cette option est disponible lorsque l'option PolyBase est sélectionnée dans la liste déroulante Load method dans la vue Basic settings.

Pour plus d'informations concernant les formats de fichiers, consultez CREATE EXTERNAL FILE FORMAT (en anglais).

Sélectionnez le type de fichier définissant les données externes stockées dans votre Azure Blob Storage ou Azure Data Lake Storage, CSV, ORC ou Parquet.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings.

Pour plus d'informations concernant les formats de fichiers, consultez CREATE EXTERNAL FILE FORMAT (en anglais).

Specify map to source table fields

Sélectionnez cette option pour mapper les champs du fichier source aux colonnes du schéma spécifique en saisissant des colonnes de schéma et des index de champs dans la table qui s'affiche. Notez que les index de champs du fichier source doivent être donnés en ordre croissant dans la table.

Si cette option n'est pas sélectionnée, les champs du fichier source seront mappés aux colonnes de schéma dans l'ordre par défaut.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings.

First row

Configurez le nombre de lignes à traiter comme en-têtes dans le fichier source. La valeur par défaut est 1.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Spécifiez le caractère utilisé comme caractère de citation (séparateur de chaînes de caractères) dans le fichier source.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Spécifiez le caractère de fin de champ, indiquant la fin de chaque champ dans le fichier source.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Spécifiez le caractère de fin de ligne, indiquant la fin de chaque ligne dans le fichier source.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Spécifiez le format de date. La valeur par défaut est Session date format.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Sélectionnez l'encodage dans la liste, UTF8 ou UTF16.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Identity insert

Sélectionnez cette option pour insérer les valeurs d'identité du fichier source dans la colonne d'identité. Pour plus d'informations, consultez COPY (Transact-SQL) (préversion).

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings.

Max errors

Saisissez le nombre maximal d'erreurs autorisées avant que le processus ne s'arrête.

Ce champ est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings.

Spécifiez le(s) caractère(s) indiquant la fin de chaque champ, dans le fichier délimité.

Cette propriété est disponible lorsque l'option PolyBase est sélectionnée dans la liste déroulante Load method (Méthode de chargement), dans la vue Basic settings (Paramètres de base) et que Delimited Text (Fichier délimité) est sélectionnée dans la liste déroulante File Format (Format de fichier).

Cochez cette case et, dans le champ proche, spécifiez le caractère entourant la chaîne de caractères dans le fichier délimité.

Cette propriété est disponible lorsque l'option PolyBase est sélectionnée dans la liste déroulante Load method (Méthode de chargement), dans la vue Basic settings (Paramètres de base) et que Delimited Text (Fichier délimité) est sélectionnée dans la liste déroulante File Format (Format de fichier).

Cochez cette case et, dans le champ proche, spécifiez le format personnalisé pour toutes les données d'heure et de date dans le fichier délimité. Pour plus d'informations concernant le format de date, consultez CREATE EXTERNAL FILE FORMAT.

Cette propriété est disponible lorsque l'option PolyBase est sélectionnée dans la liste déroulante Load method (Méthode de chargement), dans la vue Basic settings (Paramètres de base) et que Delimited Text (Fichier délimité) est sélectionnée dans la liste déroulante File Format (Format de fichier).

Cochez cette case pour stocker chaque valeur manquante à l'aide de la valeur par défaut du type de données de la colonne correspondante.

Décochez cette case pour stocker chaque valeur manquante dans le fichier délimité en tant que NULL.

Cette propriété est disponible lorsque l'option PolyBase est sélectionnée dans la liste déroulante Load method (Méthode de chargement), dans la vue Basic settings (Paramètres de base) et que Delimited Text (Fichier délimité) est sélectionnée dans la liste déroulante File Format (Format de fichier).

Sélectionnez une méthode Hive de sérialisation et désérialisation.

Cette propriété est disponible lorsque l'option Hive RCFile est sélectionnée dans la liste déroulante File format.

Cochez cette case si les données externes sont compressées. Dans la liste déroulante qui s'affiche, sélectionnez la méthode de compression.

Cochez cette case pour spécifier les options de rejet suivantes.

• Reject type : spécifiez comment traiter les lignes rejetées.

  • Value : si le nombre de lignes rejetées dépasse la valeur spécifiée dans le champ Reject value, le chargement échoue.
  • Percentage : si le pourcentage de lignes rejetées dépasse la valeur spécifiée dans le champ Reject value, le chargement échoue.

• Reject value : valeur de rejet selon le type de rejet. Pour un pourcentage, la valeur est celle du pourcentage, sans le symbole %.

• Reject sample value : nombre de lignes à tenter de récupérer avant le calcul du pourcentage des lignes rejetées.

Cette option n'est disponible que pour l'option PolyBase de la liste déroulante Load method (Méthode de chargement).

Pour plus d'informations concernant les options de rejet, consultez CREATE EXTERNAL TABLE.

Sélectionnez le modèle de partitionnement (sharding) utilisé pour distribuer les données dans la table, Round Robin, Hash ou Replicate. Pour plus d'informations concernant les modèles de partitionnement supportés par Azure SQL Data Warehouse, consultez Architecture Azure Synapse Analytics (anciennement SQL DW)..

Cette propriété est disponible lorsqu'une option relative à la création de table est sélectionnée dans la liste déroulante Action on table.

Nom de la colonne de distribution pour une table e distribution par hachage.

Cette propriété est disponible uniquement lorsque l'option Hash est sélectionnée dans la liste déroulante Distribution Option.

Sélectionnez le type d'index de la table, Clustered Columnstore Index, Heap ou Clustered Index. Pour plus d'informations, consultez Indexation de tables dans SQL Data Warehouse.

Cette propriété est disponible lorsqu'une option relative à la création de table est sélectionnée dans la liste déroulante Action on table.

Spécifiez le nom d'une ou plusieurs colonne(s) clé(s) dans l'index. Si plusieurs colonnes sont spécifiées, séparez-les par une virgule.

Cette propriété est disponible uniquement lorsque l'option Clustered Index est sélectionnée dans la liste déroulante Table Option.

Cochez cette case pour spécifier les options de partitionnement suivantes :

• Partition column name : spécifiez le nom de la colonne utilisée pour partitionner la table.

• Range : spécifiez la manière d'inclure la valeur limite dans la plage de limite.

  • Left : la valeur limite est incluse dans la plage gauche de la limite.

  • Right : la valeur limite est incluse dans la plage droite de la limite.

• Partition For Values : spécifiez les valeurs (séparées par une virgule) utilisées pour la partition.

Pour plus d'informations concernant les partitions de tables, consultez Partitionnement de tables dans SQL Data Warehouse.

Cette propriété est disponible lorsqu'une option relative à la création de table est sélectionnée dans la liste déroulante Action on table.

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant.

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères.

NB_LINE_INSERTED

Nombre de lignes insérées. Cette variable est une variable After et retourne un entier.

Règle d'utilisation

Ce composant peut être utilisé en standalone dans un Job ou un sous-Job.

Limitation

Certaines fonctionnalités supportées par d'autres bases de données ne sont pas supportées par Azure SQL Data Warehouse. Pour plus d'informations, consultez Fonctionnalités de table non prises en charge.