Propriétés du tSnowflakeOutputBulkExec Standard - 7.1

Snowflake

author
Talend Documentation Team
EnrichVersion
7.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Stockages Cloud > Composants Snowflake
Gouvernance de données > Systèmes tiers > Stockages Cloud > Composants Snowflake
Qualité et préparation de données > Systèmes tiers > Stockages Cloud > Composants Snowflake
EnrichPlatform
Studio Talend

Ces propriétés sont utilisées pour configurer le tSnowflakeBulkExec s'exécutant dans le framework de Jobs Standard.

Le composant tSnowflakeOutputBulkExec Standard appartient à la famille Cloud.

Le composant de ce framework est disponible dans tous les produits Talend nécessitant souscription.

Remarque : Ce composant est une version spécifique d'un connecteur à une base de données dynamique. Les propriétés associées aux paramètres de la base de données dépendant du type de base de données sélectionné. Pour plus d'informations concernant les connecteurs aux bases de données, consultez Utiliser des composants de bases de données dynamiques.

Paramètres simples

Database

Sélectionnez un type de base de données dans la liste et cliquez sur Apply.

Property Type

Sélectionnez la manière de configurer les informations de connexion.

  • Built-In : les paramètres de connexion seront définis localement pour ce composant. Vous devez spécifier manuellement les valeurs pour toutes les propriétés de connexion.

  • Repository : les paramètres de connexion stockés centralement dans le Repository > Metadata seront réutilisés par ce composant. Vous devez cliquer sur le bouton [...] et, dans la boîte de dialogue Repository Content, sélectionnez les détails de connexion à réutiliser. Toutes les propriétés de connexion seront automatiquement renseignées.

Cette propriété n'est pas disponible lorsqu'un autre composant de connexion est sélectionné dans la liste Connection Component.

Connection Component

Sélectionnez le composant établissant la connexion à la base de données à réutiliser par ce composant.

Account

Dans le champ Account, saisissez, entre guillemets doubles, le nom qui vous a été assigné par Snowflake.

Snowflake Region

Sélectionnez une région AWS ou Azure dans la liste Snowflake Region.

User Id et Password

Saisissez entre guillemets doubles, vos informations d'authentification à Snowflake.

  • Dans le champ User ID, saisissez, entre guillemets doubles, votre identifiant défini dans Snowflake via le paramètre LOGIN_NAME de Snowflake. Pour plus d'informations, contactez l'administrateur de votre système Snowflake.

  • Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres.

Warehouse

Saisissez, entre guillemets doubles, le nom de l'entrepôt Snowflake à utiliser. Ce nom est sensible à la casse et est normalement en lettres capitales dans Snowflake.

Schema

Saisissez, entre guillemets doubles, le nom du schéma de la base de données à utiliser. Ce nom est sensible à la casse et est normalement en majuscules dans Snowflake.

Database

Saisissez, entre guillemets doubles, le nom de la base de données Snowflake à utiliser. Ce nom est sensible à la casse et est normalement en majuscules dans Snowflake.

Table

Cliquez sur le bouton [...] et, dans l'assistant qui s'affiche, sélectionnez la table Snowflake à utiliser.

Schema et Edit Schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

Built-in : le schéma est créé et conservé localement pour ce composant seulement. Scénorio associé : consultez le Guide utilisateur du Studio Talend .

Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans divers projets et Jobs. Scénorio associé : consultez le Guide utilisateur du Studio Talend .

Si le type de données Snowflake à gérer est VARIANT, OBJECT ou ARRAY, lorsque vous définissez le schéma dans le composant, sélectionnez String pour les données correspondantes dans la colonne Type de l'assistant de l'éditeur de schéma.

Modifiez le schéma en cliquant sur Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir uniquement le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

Notez que, si la valeur d'entrée d'un champ primitif non nullable est nulle, la ligne de données comprenant ce champ sera rejetée.

Ce composant offre la fonction de schéma dynamique. Cela vous permet de récupérer des colonnes inconnues de fichiers source ou de copier des lots de colonnes d'une source sans avoir à mapper chaque colonne individuellement. Pour plus d'informations concernant les schémas dynamiques, consultez le Guide utilisateur du Studio Talend.

Cette fonctionnalité de schéma dynamique est conçue pour permettre de récupérer des colonnes inconnues d'une table. Il est recommandé de l'utiliser uniquement à cet effet et non pour créer des tables.

Output Action

Sélectionnez l'opération permettant d'insérer, supprimer, mettre à jour ou fusionner des données dans la table Snowflake. L'utilisateur doit avoir défini une table Snowflake.
  • INSERT : insérer de nouveaux enregistrements dans une table Snowflake.
  • UPDATE : mettre à jour des enregistrements existants dans une table Snowflake.
  • UPSERT : créer des enregistrements et mettre à jour des enregistrements existants. Dans le champ Upsert Key Column affiché, spécifiez la colonne clé à utiliser comme clé de jointure pour l'opération d'upsert.
  • DELETE : supprimer des enregistrements d'une table Snowflake.
Storage Sélectionnez le type de stockage dans lequel charger les données.
  • Internal : sélectionner un stockage interne pour charger des données. L'utilisateur doit renseigner des identifiants afin de se connecter au stockage Snowflake par défaut spécifié dans Stage Folder.
  • S3 : sélectionner un bucket Amazon S3 pour charger des données.
  • Azure : sélectionner un conteneur Azure pour charger des données.
Stage Folder Spécifiez le chemin d'accès au dossier de préparation (Stage) Snowflake par défaut.

Ce champ est disponible uniquement lorsque l'option Internal est sélectionnée dans la liste déroulante Storage.

Region Spécifiez la région où le bucket S3 est situé.

Ce champ est disponible uniquement lorsque l'option S3 est sélectionnée dans la liste déroulante Storage.

Access Key et Secret Key Renseignez les informations d'authentification requises pour vous connecter au bucket Amazon S3 à utiliser.

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres.

Ce champ est disponible uniquement lorsque l'option S3 est sélectionnée dans la liste déroulante Storage.

Bucket Saisissez le nom du bucket à utiliser pour charger des données. Ce bucket doit déjà exister.

Ce champ est disponible uniquement lorsque l'option S3 est sélectionnée dans la liste déroulante Storage.

Folder Saisissez le répertoire dans lequel stocker des données. Ce répertoire est créé s'il n'existe pas lors de l'exécution.

Cette propriété est disponible unqiuement lorsque l'option S3 ou Azure est sélectionnée dans la liste déroulante Storage.

Server-Side Encryption Cette propriété est cochée par défaut. Cochez cette case pour chiffrer les fichiers à charger dans le bucket S3 côté serveur.

Ce champ est disponible uniquement lorsque l'option S3 est sélectionnée dans la liste déroulante Storage.

Protocol Sélectionnez le protocole utilisé pour créer la connexion Azure.

Ce champ est disponible uniquement lorsque l'option Azure est sélectionnée dans la liste déroulante Storage.

Account Name Saisissez le nom du compte de stockage Azure auquel vous devez accéder.

Ce champ est disponible uniquement lorsque l'option Azure est sélectionnée dans la liste déroulante Storage.

Container Spécifiez le conteneur Azure utilisé pour stocker et gérer les données.

Ce champ est disponible uniquement lorsque l'option Azure est sélectionnée dans la liste déroulante Storage.

SAS Token Spécifiez le jeton SAS donnant un accès limité aux objets de votre compte de stockage.

Pour saisir le jeton SAS, cliquez sur le bouton [...] à côté du champ du jeton SAS, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres.

Ce champ est disponible uniquement lorsque l'option Azure est sélectionnée dans la liste déroulante Storage.

Paramètres avancés

Use Custom Snowflake Region
Cochez cette case pour utiliser les régions Snowflake personnalisées.
  • Region ID : saisissez, entre guillemets doubles, un ID de région, par exemple eu-west-1 ou east-us-2.azure.

Pour plus d'informations concernant les ID de régions Snowflake, consultez https://docs.snowflake.net/manuals/user-guide/intro-regions.html#region-ids-in-account-urls.

Login Timeout

Spécifiez le temps d'attente d'une réponse lors de la connexion à Snowflake, avant de retourner une erreur.

Tracing

Sélectionnez le niveau de log pour le pilote JDBC de Snowflake. Si cette option est activée, un log standard Java est généré.

Role

Saisissez, entre guillemets doubles, le rôle de contrôle des accès par défaut à utiliser pour initialiser la session Snowflake.

Ce rôle doit déjà exister et doit avoir été assigné à l'ID de l'utilisateur que vous utilisez pour vous connecter Snowflake. Si vous laissez ce champ vide, le rôle PUBLIC est automatiquement assigné. Pour plus d'informations concernant le modèle de contrôle des accès de Snowflake, consultez la documentation Snowflake à l'adresse suivante Understanding the Access Control Model (en anglais).

Allow Snowflake to convert columns and tables to uppercase

Cochez cette case pour passer les minuscules en majuscules, dans le nom de la table et des colonnes du schéma définies.Notez que les identifiants sans guillemet doivent correspondre à la syntaxe des identifiants Snowflake.

Lorsque cette case est décochée, tous les identifiants sont automatiquement placés entre guillemets.

Cette propriété n'est pas disponible lorsque la case Manual Query est cochée.

Pour plus d'informations concernant la syntaxe des identifiants Snowflake, consultez Idenfifier Syntax (en anglais).

Custom DB Type Cochez cette case pour spécifier le type de données pour chaque colonne du schéma.

Cette propriété est disponible uniquement lorsque vous sélectionnez une action avec Create Table dans la liste déroulante Table Action dans la vue Basic settings.

Delete Storage Files On Success Supprimez tous les fichier de votre dossier de stockage une fois le Job exécuté avec succès.

Ce champ est indisponible lorsque vous sélectionnez Use Custom Storage Location.

Use Custom Stage Path

Cochez cette case pour utiliser le dossier de préparation (Stage) spécifié pour charger les données.

Ce champ est disponible uniquement lorsque l'option Internal est sélectionnée dans la liste déroulante Storage.

Une fois cette case cochée, le dossier renseigné dans Stage Folder est désactivé.

S3 Max Error Retry

Spécifiez le nombre maximum de tentatives lorsqu'une erreur survient lors du chargement des données vers le bucket S3.

Ce champ est disponible uniquement lorsque l'option S3 est sélectionnée dans la liste déroulante Storage.

Copy Command Options

Sélectionnez un mode de commande Copy dans la liste déroulante afin de copier des données vers l'un des dossiers de préparation Snowflake suivants.
  • Default : par défaut, seules les propriétés de chaîne en lecture seule avec options sont utilisées.
  • Table : une table avec deux colonnes, Option et Valeur, est utilisée pour configurer les options de commande.
  • Manual : vous pouvez configurer n'importe quelle option personnalisée en utilisant une propriété de chaîne.

Put Command Options

Sélectionnez un mode de commande PUT dans la liste déroulante :
  • Default : par défaut, seules les propriétés de chaîne en lecture seule avec options sont utilisées.
  • Table : une table avec deux colonnes, Option et Valeur, est utilisée pour configurer les options de commande.
  • Manual : vous pouvez configurer n'importe quelle option personnalisée en utilisant une propriété de chaîne.

Put Command Error Retry

Spécifiez le nombre de tentatives lorsqu'une erreur survient lors du chargement des données avec la commande Put.

Azure Max Error Retry

Spécifiez le nombre maximum de tentatives lorsqu'une erreur survient lors du chargement des données vers le conteneur Azure.

Ce champ est disponible uniquement lorsque l'option Azure est sélectionnée dans la liste déroulante Storage.

Stop on non-empty Storage Folder Arrêtez l'opération lorsque le dossier de stockage utilisé pour le chargement des données n'est pas vide.
Chunk Size (bytes) Spécifiez la taille d'un fichier CSV, qui est de 52428800 octets par défaut.

Comme les enregistrements doivent être entièrement stockés dans un seul fichier CSV, la taille de ce fichier peut être supérieure à la valeur spécifiée, mais elle ne peut pas être supérieure à celle du dernier enregistrement stocké dans le fichier.

Number of file requests threads Spécifiez le nombre de process utilisés pour envoyer des requêtes Put en parallèle lorsque les données sont partitionnées dans un fichier selon la taille spécifiée dans la propriété Chunk Size.

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job au niveau du Job ainsi qu'au niveau de chaque composant.

Variables globales

NB_LINE

Nombre de lignes traitées. Cette variable est une variable After et retourne un entier.

NB_SUCCESS

Nombre de lignes correctement traitées. Cette variable est une variable After et retourne un entier.

NB_REJECT

Nombre de lignes rejetées. Cette variable est une variable After et retourne un entier.

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères.

Utilisation

Usage rule

Ce composant est un composant de fin de flux de données dans votre Job. Il reçoit des données depuis d'autres composants via le lien Row > Main.

Il peut également envoyer des messages d'erreur à d'autres composants via un lien Row > Rejects. Les informations fournies à propos d'une erreur peuvent être :
  • le nom de la colonne en erreur,

  • le numéro de la ligne de données en erreur,

  • la catégorie d'erreur, comme une erreur de parsing ou une erreur de conversion,

  • l'offset du caractère dans la ligne de code en erreur,

  • le message d'erreur associé,

  • l'offset de l'octet en erreur,

  • le numéro de la ligne de code en erreur,

  • SQLSTATE de l'erreur,

  • le code d'erreur Snowflake.