Propriétés du tSnowflakeOutputBulk Standard - 7.2

Snowflake

EnrichVersion
7.2
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
EnrichPlatform
Studio Talend
task
Création et développement > Systèmes tiers > Stockages Cloud > Composants Snowflake
Gouvernance de données > Systèmes tiers > Stockages Cloud > Composants Snowflake
Qualité et préparation de données > Systèmes tiers > Stockages Cloud > Composants Snowflake

Ces propriétés sont utilisées pour configurer le tSnowflakeOutputBulk s'exécutant dans le framework de Jobs Standard.

Le composant tSnowflakeOutputBulk Standard appartient à la famille Cloud.

Le composant de ce framework est disponible dans tous les produits Talend nécessitant une souscription.

Remarque : Ce composant est une version spécifique d'un connecteur à une base de données dynamique. Les propriétés associées aux paramètres de la base de données dépendent du type de base de données sélectionné. Pour plus d'informations concernant les connecteurs aux bases de données, consultez pzz1550477830065.html.

Basic settings

Base de données

Sélectionnez un type de base de données dans la liste et cliquez sur Apply.

Type de propriété

Sélectionnez la manière de configurer les informations de connexion.

  • Built-In : les paramètres de connexion seront définis localement pour ce composant. Vous devez spécifier manuellement les valeurs pour toutes les propriétés de connexion.

  • Repository : les paramètres de connexion stockés centralement dans le Repository > Metadata seront réutilisés par ce composant. Vous devez cliquer sur le bouton [...] et, dans la boîte de dialogue Repository Content, sélectionnez les détails de connexion à réutiliser. Toutes les propriétés de connexion seront automatiquement renseignées.

Cette propriété n'est pas disponible lorsqu'un autre composant de connexion est sélectionné dans la liste Connection Component.

Connection Component

Sélectionnez le composant établissant la connexion à la base de données à réutiliser par ce composant.

Account

Dans le champ Account, saisissez, entre guillemets doubles, le nom qui vous a été assigné par Snowflake.

Ce champ est disponible uniquement lorsque vous sélectionnez Use this Component dans la liste déroulante Connection Component et que vous sélectionnez Internal dans la liste déroulante Storage dans la vue Basic settings.

Snowflake Region

Sélectionnez une région AWS ou Azure dans la liste Snowflake Region.

Ce champ est disponible uniquement lorsque vous sélectionnez Use this Component dans la liste déroulante Connection Component, que vous sélectionnez Internal dans la liste déroulante Storage de la vue Basic settings et que l'option Use Custom Snowflake Region n'est pas sélectionnée dans la vue Advanced settings.

User Id et Password

Saisissez entre guillemets doubles, vos informations d'authentification à Snowflake.

  • Dans le champ User ID, saisissez, entre guillemets doubles, votre identifiant défini dans Snowflake via le paramètre LOGIN_NAME de Snowflake. Pour plus d'informations, contactez l'administrateur de votre système Snowflake.

  • Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres.

Ce champ est disponible uniquement lorsque vous sélectionnez Use this Component dans la liste déroulante Connection Component et que vous sélectionnez Internal dans la liste déroulante Storage dans la vue Basic settings.

Warehouse

Saisissez, entre guillemets doubles, le nom de l'entrepôt Snowflake à utiliser. Ce nom est sensible à la casse et est normalement en lettres capitales dans Snowflake.

Ce champ est disponible uniquement lorsque vous sélectionnez Use this Component dans la liste déroulante Connection Component et que vous sélectionnez Internal dans la liste déroulante Storage dans la vue Basic settings.

Schéma

Saisissez, entre guillemets doubles, le nom du schéma de la base de données à utiliser. Ce nom est sensible à la casse et est normalement en lettres capitales dans Snowflake.

Ce champ est disponible uniquement lorsque vous sélectionnez Use this Component dans la liste déroulante Connection Component et que vous sélectionnez Internal dans la liste déroulante Storage dans la vue Basic settings.

Base de données

Saisissez, entre guillemets doubles, le nom de la base de données Snowflake à utiliser. Ce nom est sensible à la casse et est normalement en lettres capitales dans Snowflake.

Ce champ est disponible uniquement lorsque vous sélectionnez Use this Component dans la liste déroulante Connection Component et que vous sélectionnez Internal dans la liste déroulante Storage dans la vue Basic settings.

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs qui sont traités et passés au composant suivant. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

Built-in : le schéma est créé et conservé localement pour ce composant seulement.

Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans divers projets et Jobs.

Si le type de données Snowflake à gérer est VARIANT, OBJECT ou ARRAY, lorsque vous définissez le schéma dans le composant, sélectionnez String pour les données correspondantes dans la colonne Type de l'éditeur de schéma.

Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir uniquement le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

Notez que, si la valeur d'entrée d'un champ primitif non nullable est nulle, la ligne de données comprenant ce champ sera rejetée.

Ce composant offre la fonction de schéma dynamique. Cela vous permet de récupérer des colonnes inconnues de fichiers sources ou de copier des lots de colonnes d'une source sans avoir à mapper chaque colonne individuellement. Pour plus d'informations concernant les schémas dynamiques, consultez le Guide d'utilisation du Studio Talend.

Cette fonctionnalité de schéma dynamique est conçue pour permettre de récupérer des colonnes inconnues d'une table. Il est recommandé de l'utiliser uniquement à cet effet et non pour créer des tables.

Storage Sélectionnez le type de stockage dans lequel charger les données.
  • Internal : stocke les données dans un dossier dans le stockage interne de Snowflake. Vous devez également spécifier le dossier entre guillemets doubles, dans Stage Folder.
  • S3 : stocke les données dans un dossier Amazon S3. Vous devez fournir des informations concernant votre compte utilisateur·rice S3, notamment dans les champs Region, Access Key (entre guillemets doubles), Secret Key, Bucket (entre guillemets doubles) et Folder (entre guillemets doubles).
  • Azure : stocke les données dans un dossier Azure. Vous devez fournir des informations concernant votre compte utilisateur·rice Azure, notamment dans les champs Protocol, Account Name (entre guillemets doubles), Container (entre guillemets doubles), Folder (entre guillemets doubles) et SAS Token.
Stage Folder Spécifiez le dossier d'étape Snowflake stockant les données.

Ce champ est disponible lorsque vous sélectionnez Internal dans la liste déroulante Storage, dans la vue Basic settings.

Région Spécifiez la région où le bucket S3 est situé.

Ce champ est disponible lorsque l'option S3 est sélectionnée dans la liste déroulante Storage, dans la vue Basic settings.

Access Key (Clé d'accès) et Secret Key (Clé secrète) Renseignez les informations d'authentification requises pour vous connecter au bucket Amazon S3 à utiliser.

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres.

Ce champ est disponible lorsque l'option S3 est sélectionnée dans la liste déroulante Storage, dans la vue Basic settings.

Bucket Saisissez le nom du bucket (entre guillemets doubles) à utiliser pour stocker les données. Ce bucket doit déjà exister.

Ce champ est disponible lorsque l'option S3 est sélectionnée dans la liste déroulante Storage, dans la vue Basic settings.

Dossier Saisissez le nom du dossier (entre guillemets doubles) dans lequel stocker les données. Ce dossier sera créé s'il n'existe pas lors de l'exécution.

Cette propriété est disponible unqiuement lorsque l'option S3 ou Azure est sélectionnée dans la liste déroulante Storage.

Server-Side Encryption Cochez cette case pour chiffrer les fichiers à charger dans le bucket S3 côté serveur. Cette case est cochée par défaut.

Ce champ est disponible lorsque l'option S3 est sélectionnée dans la liste déroulante Storage, dans la vue Basic settings.

Protocol Sélectionnez le protocole à utiliser pour créer une connexion Azure.

Ce champ est disponible lorsque vous sélectionnez Azure dans la liste déroulante Storage, dans la vue Basic settings.

Account Name Saisissez le nom du compte Azure Storage (entre guillemets doubles).

Ce champ est disponible lorsque vous sélectionnez Azure dans la liste déroulante Storage, dans la vue Basic settings.

Container Saisissez (entre guillemets doubles) le nom du conteneur Azure utilisé pour stocker les données.

Ce champ est disponible lorsque vous sélectionnez Azure dans la liste déroulante Storage, dans la vue Basic settings.

SAS Token Spécifiez le jeton SAS donnant un accès limité aux objets de votre compte de stockage.

Pour saisir le jeton SAS, cliquez sur le bouton [...] à côté du champ du jeton SAS, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres.

Ce champ est disponible lorsque vous sélectionnez Azure dans la liste déroulante Storage, dans la vue Basic settings.

Paramètres avancés

Additional JDBC Parameters

Définissez des propriétés de connexion supplémentaires pour la connexion à la base de données que vous créez. Les propriétés sont séparées par un point-virgule et chaque propriété est une paire clé-valeur. Par exemple, encryption=1;clientname=Talend.

Ce champ est disponible uniquement lorsque vous sélectionnez Use this Component dans la liste déroulante Connection Component et que vous sélectionnez Internal dans la liste déroulante Storage dans la vue Basic settings.

Use Custom Snowflake Region
Cochez cette case afin de spécifier une région Snowflake personnalisée. Cette propriété est disponible lorsque l'option Use this Component est sélectionnée dans la liste déroulante Connection Component, dans la vue Basic settings.
  • Region ID : saisissez, entre guillemets doubles, un ID de région, par exemple eu-west-1 ou east-us-2.azure.

Pour plus d'informations concernant les ID de régions Snowflake, consultez Supported Regions (en anglais).

Login Timeout

Spécifiez le délai avant expiration (en minutes) des tentatives de connexion à Snowflake. Une erreur sera générée si aucune réponse n'est reçue au cours de cette période.

Rôle

Saisissez, entre guillemets doubles, le rôle de contrôle des accès par défaut à utiliser pour initialiser la session Snowflake.

Ce rôle doit déjà exister et doit avoir été assigné à l'ID de l'utilisateur ou de l'utilisatrice que vous utilisez pour vous connecter Snowflake. Si vous laissez ce champ vide, le rôle PUBLIC est automatiquement assigné. Pour plus d'informations concernant le modèle de contrôle des accès Snowflake, consultez Understanding the Access Control Model (en anglais).

Use Custom Stage Path

Cochez cette case afin de charger les données dans les fichiers générés dans un dossier sous l'étape. Vous devez également saisir le chemin d'accès au dossier dans le champ fourni. Par exemple, pour charger les données stockées dans les fichiers générés dans myfolder1/myfolder2 sous l'étape, vous devez saisir "@~/myfolder1/myfolder2" dans le champ.

Ce champ est disponible lorsque vous sélectionnez Internal dans la liste déroulante Storage, dans la vue Basic settings.

Une fois sélectionné, le dossier Stage Folder de la vue Basic settings devient indisponible.
Put Command Options Configurez les paramètres pour la commande PUT en sélectionnant les options suivantes dans la liste déroulante. La commande PUT est fournie par Snowflake. Elle charge les données dans un dossier d'étape Snowflake.
  • Default : effectuer l'opération PUT à l'aide des paramètres par défaut, comme listés à droite.
  • Table : configurer les paramètres de l'opération PUT en utilisant la table Options. Pour configurer un paramètre, cliquez sur le bouton +, sélectionnez le paramètre dans la colonne Option et configurez la valeur du paramètre dans la colonne Value.
  • Manual : configurer les paramètres de l'opération PUT dans le cadre de texte à droite, manuellement.
Pour plus d'informations concernant les paramètres de la commande PUT, consultez commande PUT (en anglais).

Ce champ est disponible lorsque vous sélectionnez Internal dans la liste déroulante Storage, dans la vue Basic settings.

Put Command Error Retry

Spécifiez le nombre maximum de tentatives lorsqu'une erreur survient lors du chargement des données vers le stockage Snowflake interne. La valeur par défaut de ce paramètre est 3. Une valeur de -1 spécifie le nombre maximal de tentatives. Les valeurs -1 ou les entiers positifs sont acceptés.

Ce champ est disponible lorsque vous sélectionnez Internal dans la liste déroulante Storage, dans la vue Basic settings.

S3 Max Error Retry

Spécifiez le nombre maximal de tentatives de chargement des données lorsqu'une erreur survient lors du chargement depuis ou vers le dossier S3. La valeur par défaut de ce paramètre est 3. Une valeur de -1 spécifie le nombre maximal de tentatives. Les valeurs -1 ou les entiers positifs sont acceptés.

Ce champ est disponible lorsque l'option S3 est sélectionnée dans la liste déroulante Storage, dans la vue Basic settings.

Azure Max Error Retry

Spécifiez le nombre maximal de tentatives de chargement des données lorsqu'une erreur survient lors du chargement depuis ou vers le dossier Azure. La valeur par défaut de ce paramètre est 3. Une valeur de -1 spécifie le nombre maximal de tentatives. Les valeurs -1 ou les entiers positifs sont acceptés.

Ce champ est disponible lorsque vous sélectionnez Azure dans la liste déroulante Storage, dans la vue Basic settings.

Use Custom S3 Connection Configuration Cochez cette case si vous souhaitez utiliser la configuration S3 personnalisée.

Option : sélectionnez le paramètre dans la liste.

Value : saisissez la valeur des paramètres.

Ce champ est disponible lorsque l'option S3 est sélectionnée dans la liste déroulante Storage, dans la vue Basic settings.

Non-empty Storage Folder Action Spécifiez l'action à effectuer lorsque le dossier de stockage spécifié pour le chargement des données n'est pas vide.
  • Add New Files : continue à traiter le Job et ajoute de nouveaux fichiers au dossier.
  • Cancel Upload : arrête l'opération.
  • Replace Existing Files : nettoie le dossier de stockage avant d'ajouter de nouveaux fichiers.
Chunk Size (bytes) Spécifiez la taille des fichiers générés, avec une valeur par défaut de 52428800 octets.

Avec cette option spécifiée, les données entrantes peuvent être stockées dans plusieurs fichiers. Comme les données sont stockées dans des fichiers sur une base d'enregistrements, la taille réelle de chaque fichier peut être supérieure ou inférieure à la valeur spécifiée, mais elle ne peut pas être supérieure à celle du dernier enregistrement stocké dans le fichier.

Cette option peut avoir un impact sur les performances. Il est donc recommandé de la configurer avec prudence. Consultez File Sizing Best Practices and Limitations pour plus d'informations (en anglais).
Utiliser un dossier local personnalisé Spécifiez un dossier local comme dossier temporaire pour contenir les fichiers générés. Lorsque cette option est sélectionnée, les fichiers devant stocker les données d'entrée sont générés en premier dans le dossier local spécifié puis déplacés vers le stockage spécifié une fois toutes les données entrantes chargées.
Number of file requests threads Spécifiez le nombre de process utilisés pour envoyer des requêtes Put en parallèle lorsque les données sont partitionnées dans les fichiers.

Statistiques du tStatCatcher

Cochez cette case pour collecter les métadonnées de traitement du Job au niveau du Job ainsi qu'au niveau de chaque composant.

Variables globales

NB_LINE

Nombre de lignes traitées. Cette variable est une variable After et retourne un entier.

NB_SUCCESS

Nombre de lignes correctement traitées. Cette variable est une variable After et retourne un entier.

NB_REJECT

Nombre de lignes rejetées. Cette variable est une variable After et retourne un entier.

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères.

Utilisation

Règle d'utilisation

Ce composant est un composant de fin de flux de données dans votre Job. Il reçoit des données depuis d'autres composants via le lien Row > Main.