Propriétés du tSnowflakeOutput Standard - 7.3

Snowflake

Version
7.3
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Stockages Cloud > Composants Snowflake
Gouvernance de données > Systèmes tiers > Stockages Cloud > Composants Snowflake
Qualité et préparation de données > Systèmes tiers > Stockages Cloud > Composants Snowflake
Last publication date
2024-02-22

Ces propriétés sont utilisées pour configurer le tSnowflakeOutput s'exécutant dans le framework de Jobs Standard.

Le composant tSnowflakeOutput Standard appartient à la famille Cloud.

Le composant de ce framework est disponible dans tous les produits Talend.

Remarque : Ce composant est une version spécifique d'un connecteur à une base de données dynamique. Les propriétés associées aux paramètres de la base de données dépendent du type de base de données sélectionné. Pour plus d'informations concernant les connecteurs dynamiques aux bases de données, consultez Composants de bases de données dynamiques.

Basic settings

Base de données

Sélectionnez un type de base de données dans la liste et cliquez sur Apply.

Property Type

Sélectionnez la manière de configurer les informations de connexion.

  • Built-In : les paramètres de connexion seront définis localement pour ce composant. Vous devez spécifier manuellement les valeurs pour toutes les propriétés de connexion.

  • Repository : les paramètres de connexion stockés centralement dans le Repository > Metadata seront réutilisés par ce composant. Vous devez cliquer sur le bouton [...] et, dans la boîte de dialogue Repository Content, sélectionnez les détails de connexion à réutiliser. Toutes les propriétés de connexion seront automatiquement renseignées.

Cette propriété n'est pas disponible lorsqu'un autre composant de connexion est sélectionné dans la liste Connection Component.

Connection Component

Sélectionnez le composant établissant la connexion à la base de données à réutiliser par ce composant.

Account

Dans le champ Account, saisissez, entre guillemets doubles, le nom qui vous a été assigné par Snowflake.

Authentication Type

Configurez le type d'authentification.
  • Basic : sélectionnez cette option si l'authentification par paire de clés n'est pas activée.
  • Key Pair : sélectionnez cette option si l'authentification par paire de clés est activée. Pour plus d'informations concernant l'authentification par paire de clés, consultez Using Key Pair Authentication (en anglais).
  • OAuth 2.0 : sélectionnez cette option pour utiliser un OAuth externe pour l'accès aux données. Consultez External OAuth Overview pour plus d'informations (en anglais).
Remarque : Avant de sélectionner l'option Key Pair, assurez-vous de configurer les données d'authentification par paire de clés dans la vue Basic settings du composant tSetKeystore, comme suit.
  • Laissez le champ TrustStore type tel quel ;
  • Configurez TrustStore file à "" ;
  • Effacez le contenu du champ TrustStore password ;
  • Sélectionnez Need Client authentication ;
  • Saisissez le chemin d'accès au fichier KeyStore, entre guillemets doubles dans le champ KeyStore file (ou cliquez sur le bouton […] à droite du champ KeyStore file et parcourez votre système jusqu'au fichier KeyStore) ;
  • Saisissez le mot de passe du fichier KeyStore dans le champ KeyStore password ;
  • Décochez la case Check server identity.
Remarque : L'option OAuth 2.0 est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-06 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.

OAuth token endpoint

Saisissez l'endpoint du jeton OAuth 2.0.

Cette option est disponible uniquement lorsque l'option OAuth 2.0 est sélectionnée dans la liste déroulante Authentication Type.

Client ID

Saisissez l'ID du client de votre application.

Cette option est disponible uniquement lorsque l'option OAuth 2.0 est sélectionnée dans la liste déroulante Authentication Type.

Client Secret

Saisissez le secret du client de votre application.

Cette option est disponible uniquement lorsque l'option OAuth 2.0 est sélectionnée dans la liste déroulante Authentication Type.

Grant type

Configure le type d'attribution pour récupérer le jeton d'accès. Deux options sont fournies : Client Crendentials et Password.

Cliquez sur Client Credentials et Resource Owner Password Credentials pour plus d'informations.

Cette option est disponible uniquement lorsque l'option OAuth 2.0 est sélectionnée dans la liste déroulante Authentication Type.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-10 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.

OAuth username

Saisissez l'identifiant de connexion à OAuth.

Cette option est disponible uniquement lorsque l'option Password est sélectionnée dans la liste déroulante Grant type.

OAuth password

Saisissez le mot de passe de connexion à OAuth.

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres.

Cette option est disponible uniquement lorsque l'option Password est sélectionnée dans la liste déroulante Grant type.

Remarque : Le mot de passe OAuth ne supporte pas les espaces.

Scope

Saisissez la limite des rôles et accès. Consultez Scopes (en anglais) pour plus d'informations.

Cette option est disponible uniquement lorsque l'option OAuth 2.0 est sélectionnée dans la liste déroulante Authentication Type.

User Id et Password

Saisissez entre guillemets doubles, vos informations d'authentification à Snowflake.

  • Dans le champ User ID, saisissez, entre guillemets doubles, votre identifiant défini dans Snowflake via le paramètre LOGIN_NAME de Snowflake. Pour plus d'informations, contactez l'administrateur de votre système Snowflake.

  • Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres.

Warehouse

Saisissez, entre guillemets doubles, le nom de l'entrepôt Snowflake à utiliser. Ce nom est sensible à la casse et est normalement en lettres capitales dans Snowflake.

Schema

Saisissez, entre guillemets doubles, le nom du schéma de la base de données à utiliser. Ce nom est sensible à la casse et est normalement en lettres capitales dans Snowflake.

Database

Saisissez, entre guillemets doubles, le nom de la base de données Snowflake à utiliser. Ce nom est sensible à la casse et est normalement en lettres capitales dans Snowflake.

Table

Cliquez sur le bouton [...] et, dans l'assistant qui s'affiche, sélectionnez la table Snowflake à utiliser.

Schema et Edit Schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

Built-in : le schéma est créé et conservé localement pour ce composant seulement.

Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets.

Si le type de données Snowflake à gérer est VARIANT, OBJECT ou ARRAY, lorsque vous définissez le schéma dans le composant, sélectionnez String pour les données correspondantes dans la colonne Type de l'éditeur de schéma.

Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir uniquement le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

Notez que, si la valeur d'entrée d'un champ primitif non nullable est nulle, la ligne des données, y compris ce champ, sera rejetée. Ce composant est un composant de fin de flux de données dans votre Job. Il reçoit des données d'autres composants via un lien Row > Main.

Ce composant offre la fonction de schéma dynamique. Cela vous permet de récupérer des colonnes inconnues de fichiers sources ou de copier des lots de colonnes d'une source sans avoir à mapper chaque colonne individuellement. Pour plus d'informations concernant la définition des schémas dynamiques, consultez le Guide d'utilisation du Studio Talend.

Cette fonctionnalité de schéma dynamique est conçue pour permettre de récupérer des colonnes inconnues d'une table. Il est recommandé de l'utiliser uniquement à cet effet et non pour créer des tables.

Table Action

Sélectionnez l'action à effectuer sur la table.

  • NONE : laisser la table telle qu'elle est.
  • DROP_CREATE : supprimer la table et en créer une nouvelle.
  • CREATE : créer une nouvelle table.
  • CREATE_IF_NOT_EXISTS : créer la table si elle n'existe pas.
  • DROP_IF_EXISTS_AND_CREATE : supprimer la table si elle existe déjà, puis en créer une nouvelle.
  • CLEAR : supprimer tous les enregistrements de données de la table.
  • TRUNCATE : supprimer toutes les lignes de la table. Cette action libère l'espace occupé par la table.
Output Action

Sélectionnez l'opération à effectuer sur les données et les enregistrements de données entrants dans la table de base de données Snowflake. Sélectionnez l'opération permettant d'insérer, supprimer, mettre à jour ou fusionner des données dans la table Snowflake. Cette option suppose que la table Snowflake spécifiée dans le champ Table existe déjà.

  • INSERT : insérer de nouveaux enregistrements dans la table Snowflake.
  • Update : mettre à jour des enregistrements existants dans la table Snowflake.
  • UPSERT : créer de nouveaux enregistrements et mettre à jour des enregistrements existants. Vous devez spécifier une colonne de schéma comme clé de jointure dans la liste déroulante Upsert Key Column ou spécifier l'utilisation de clés de schémas pour l'opération en cochant la case Use schema keys for upsert dans la vue Advanced settings.
    Remarque : La liste déroulante Upsert Key Column est disponible lorsque l'option Use schema keys for upsert n'est pas sélectionnée.
  • DELETE : supprimer des enregistrements d'une table Snowflake.

Arrêter en cas d''erreur

Sélectionnez cette option pour arrêter l'exécution du Job lorsqu'une erreur survient. Décochez cette option pour ignorer les lignes en erreur et terminer le processus avec les lignes sans erreur.

Cette option ne peut fonctionner avec les liens Row > Reject.

Remarque : Cette option est disponible uniquement lorsque vous avez installé la mise à jour mensuelle R2021-05 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.

Paramètres avancés

Additional JDBC Parameters

Spécifiez des paramètres JDBC supplémentaires pour la connexion à la base de données créée.

Login Timeout

Spécifiez le délai avant expiration (en minutes) des tentatives de connexion à Snowflake. Une erreur sera générée si aucune réponse n'est reçue au cours de cette période.

Rôle

Saisissez, entre guillemets doubles, le rôle de contrôle des accès par défaut à utiliser pour initialiser la session Snowflake.

Ce rôle doit déjà exister et doit avoir été assigné à l'ID de l'utilisateur ou de l'utilisatrice que vous utilisez pour vous connecter Snowflake. Si vous laissez ce champ vide, le rôle PUBLIC est automatiquement assigné. Pour plus d'informations concernant le modèle de contrôle des accès Snowflake, consultez Understanding the Access Control Model (en anglais).

Region ID (Déprécié)

Region ID : saisissez, entre guillemets doubles, un ID de région, par exemple eu-west-1 ou east-us-2.azure. Pour plus d'informations concernant les ID de régions Snowflake, consultez Supported Cloud Regions (en anglais).

Pour les composants Snowflake différents du tSnowflakeConnection, ce champ est disponible lorsque l'option Use This Component est sélectionnée dans la liste déroulante Connection Component, dans la vue Basic settings.

Remarque : Ce champ est disponible uniquement si vous avez installé la mise à jour mensuelle R2021-04 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.
Allow Snowflake to convert columns and tables to uppercase

Cochez cette case pour passer les minuscules en majuscules, dans le nom de la table et des colonnes du schéma définies. Notez que les identifiants doivent correspondre à la syntaxe des identifiants Snowflake.

Lorsque cette case est décochée, tous les identifiants sont automatiquement placés entre guillemets.

Cette propriété est disponible uniquement lorsque la case Manual Query est cochée.

Pour plus d'informations concernant la syntaxe des identifiants Snowflake, consultez Identifier Syntax (en anglais).

Convert empty strings to null

Sélectionnez cette option pour convertir les chaînes de caractères nulles en null.

Use schema keys for upsert

Cochez cette case pour utiliser les clés de schéma pour l'opération d'upsert. Cette option est disponible uniquement lorsque vous sélectionnez UPSERT dans la liste déroulante Output Action de la vue Basic settings.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-09 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.
Custom DB Type Cochez cette case pour spécifier le type de base de données pour chaque colonne du schéma.

Cette propriété est disponible uniquement lorsque vous sélectionnez une action avec Create Table dans la liste déroulante Table Action dans la vue Basic settings.

Use schema date pattern

Sélectionnez cette option afin de convertir les données des colonnes de schémas de type Date à l'aide du modèle de date défini dans le schéma. Pour ce faire, vous devez également spécifier le type de base de données des colonnes du schéma, comme STRING, TEXT ou VARCHAR dans le champ Custom DB Type.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-08 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant.

Variables globales

NB_LINE

Nombre de lignes traitées. Cette variable est une variable After et retourne un entier.

NB_SUCCESS

Nombre de lignes correctement traitées. Cette variable est une variable After et retourne un entier.

NB_REJECT

Nombre de lignes rejetées. Cette variable est une variable After et retourne un entier.

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères.

Utilisation

Règle d'utilisation

Ce composant est un composant de fin de flux de données dans votre Job. Il reçoit des données via un lien Row > Main.

Il peut également envoyer des messages d'erreur à d'autres composants via un lien Row > Rejects. Les informations fournies à propos d'une erreur peuvent être :
  • le nom de la colonne en erreur,

  • le numéro de la ligne de données en erreur,

  • la catégorie d'erreur, comme une erreur de parsing ou une erreur de conversion,

  • l'offset du caractère dans la ligne de code en erreur,

  • le message d'erreur associé,

  • l'offset de l'octet en erreur,

  • le numéro de la ligne de code en erreur,

  • le SQLSTATE de l'erreur,

  • le code d'erreur Snowflake.