Configurer le Job de table externe Snowflake - 7.3

tSnowflakeRow

EnrichVersion
Cloud
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Stockages Cloud > Composants Snowflake
Gouvernance de données > Systèmes tiers > Stockages Cloud > Composants Snowflake
Qualité et préparation de données > Systèmes tiers > Stockages Cloud > Composants Snowflake
EnrichPlatform
Studio Talend

Procédure

  1. Configurez le tDBConnection_1 afin d'établir une connexion à Snowflake. Dans la vue Basic settings du composant :
    1. Sélectionnez Snowflake dans la liste Database et cliquez sur Apply.
    2. Saisissez vos identifiants Snowflake dans les champs suivants :
      • Nom du compte Snowflake dans le champ Account
      • Région Snowflake
      • ID d'utilisateur Snowflake dans le champ User Id
      • Mot de passe de compte Snowflake dans le champ Password
      • Warehouse Snowflake
      • Schéma Snowflake
      • Base de données Snowflake
  2. Configurez le tDBRow_1 afin de créer une étape référençant le fichier S3://my-bucket/logs/log1.json. Dans la vue Basic settings du composant :
    1. Sélectionnez Snowflake dans la liste Database et cliquez sur Apply.
    2. Sélectionnez le tDBConnection_1 dans la liste Connection Component.
    3. Saisissez le code suivant entre guillemets doubles dans le champ Query.
      CREATE OR REPLACE STAGE mystage
      	url='s3://my-bucket/logs/'
      	credentials=(aws_key_id='your_AWS_key_ID' aws_secret_key='your_AWS_secret_key')
      	file_format = (type = json);
    4. Laissez les valeurs par défaut des autres options.
  3. Configurez le tDBRow_2 afin de créer une table externe pour l'étape. Dans la vue Basic settings du composant :
    1. Sélectionnez Snowflake dans la liste Database et cliquez sur Apply.
    2. Sélectionnez le tDBConnection_1 dans la liste Connection Component.
    3. Saisissez le code suivant entre guillemets doubles dans le champ Query.
      CREATE OR REPLACE EXTERNAL TABLE logs (
      	id varchar as (value:id::varchar),
      	name varchar as (value:name::varchar),
      	city varchar as (value:address::varchar))
      	location=@mystage
      	auto_refresh = true
      	file_format=(type=json);
    4. Laissez les valeurs par défaut des autres options.
  4. Configurez le tDBRow_3 pour actualiser la table externe à l'aide du fichier S3://logs/log1.json. Dans la vue Basic settings du composant :
    1. Sélectionnez Snowflake dans la liste Database et cliquez sur Apply.
    2. Sélectionnez le tDBConnection_1 dans la liste Connection Component.
    3. Saisissez le code suivant entre guillemets doubles dans le champ Query.
      ALTER EXTERNAL logs REFRESH;
    4. Laissez les valeurs par défaut des autres options.
  5. Configurez le tDBInput_1 pour effectuer une requête sur la table externe via la table externe. Dans la vue Basic settings du composant :
    1. Sélectionnez Snowflake dans la liste Database et cliquez sur Apply.
    2. Sélectionnez le tDBConnection_1 dans la liste Connection Component.
    3. Saisissez le code suivant entre guillemets doubles dans le champ Query.
      SELECT id,name,city FROM logs;
    4. Cliquez sur le bouton [...] à côté du champ Edit Schema. Ajoutez les trois colonnes suivantes et cliquez sur OK afin de propager le schéma.
      • City, de type String et Db Column CITY
      • Name, de type String et Db Column NAME
      • City, de type String et Db Column CITY
    5. Laissez les valeurs par défaut des autres options.
  6. Configurez le tLogRow_1 afin de spécifier la disposition de la sortie. Dans la vue Basic settings du composant, sélectionnez un mode de sortie.
  7. Configurez le composant tDBClose_1 pour fermer la connexion à Snowflake. Dans la vue Basic settings du composant :
    1. Sélectionnez Snowflake dans la liste Database et cliquez sur Apply.
    2. Sélectionnez tDBConnection_1 dans la liste Connection Component.
  8. Appuyez sur les touches Ctrl+S pour enregistrer le Job.