Snowflake外部テーブルジョブを設定する - 7.3

Snowflake

Version
7.3
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Snowflake
データガバナンス > サードパーティーシステム > クラウドストレージ > Snowflake
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Snowflake
Last publication date
2024-02-22

手順

  1. tDBConnection_1を設定してSnowflakeへの接続を確立します。コンポーネントの[Basic settings] (基本設定)ビューでは、以下のようになります。
    1. [Database] (データベース)リストからSnowflakeを選択し、[Apply] (適用)をクリックします。
    2. 残りのフィールドに次のSnowflake認証情報項目を入力します。
      • Snowflakeアカウント名を[Account] (アカウント)フィールドに
      • Snowflakeリージョン
      • SnowflakeユーザーIDを[User Id] (ユーザーID)フィールドに
      • Snowflakeアカウント名のパスワードを[Password] (パスワード)フィールドに
      • Snowflakeウェアハウス
      • Snowflakeスキーマ
      • Snowflakeデータベース
  2. tDBRow_1を設定してファイルS3://my-bucket/logs/log1.jsonを参照するステージを作成します。コンポーネントの[Basic settings] (基本設定)ビューでは、以下のようになります。
    1. [Database] (データベース)リストからSnowflakeを選択し、[Apply] (適用)をクリックします。
    2. [Connection Component] (接続コンポーネント)リストからtDBConnection_1を選択します。
    3. [Query] (クエリー)フィールドに次のコードを二重引用符で囲んで入力します。
      CREATE OR REPLACE STAGE mystage
      	url='s3://my-bucket/logs/'
      	credentials=(aws_key_id='your_AWS_key_ID' aws_secret_key='your_AWS_secret_key')
      	file_format = (type = json);
    4. 他のオプションはそのままにしておきます。
  3. tDBRow_2を設定して、ステージの外部テーブルを作成します。コンポーネントの[Basic settings] (基本設定)ビューでは、以下のようになります。
    1. [Database] (データベース)リストからSnowflakeを選択し、[Apply] (適用)をクリックします。
    2. [Connection Component] (接続コンポーネント)リストからtDBConnection_1を選択します。
    3. [Query] (クエリー)フィールドに次のコードを二重引用符で囲んで入力します。
      CREATE OR REPLACE EXTERNAL TABLE logs (
      	id varchar as (value:id::varchar),
      	name varchar as (value:name::varchar),
      	city varchar as (value:address::varchar))
      	location=@mystage
      	auto_refresh = true
      	file_format=(type=json);
    4. 他のオプションはそのままにしておきます。
  4. S3://logs/log1.jsonファイルを使用して外部テーブルを更新するようにtDBRow_3を設定するために使われます。コンポーネントの[Basic settings] (基本設定)ビューでは、以下のようになります。
    1. [Database] (データベース)リストからSnowflakeを選択し、[Apply] (適用)をクリックします。
    2. [Connection Component] (接続コンポーネント)リストからtDBConnection_1を選択します。
    3. [Query] (クエリー)フィールドに次のコードを二重引用符で囲んで入力します。
      ALTER EXTERNAL logs REFRESH;
    4. 他のオプションはそのままにしておきます。
  5. 外部テーブルをクエリーするようにtDBInput_1を設定するために使われます。コンポーネントの[Basic settings] (基本設定)ビューでは、以下のようになります。
    1. [Database] (データベース)リストからSnowflakeを選択し、[Apply] (適用)をクリックします。
    2. [Connection Component] (接続コンポーネント)リストからtDBConnection_1を選択します。
    3. [Query] (クエリー)フィールドに次のコードを二重引用符で囲んで入力します。
      SELECT id,name,city FROM logs;
    4. [Edit schema] (スキーマを編集)の横にある[...]ボタンをクリックします。次の3つのカラムを追加し、[OK]をクリックしてスキーマをプロパゲートします。
      • ID[String] (文字列)型、および[Db Column] (DBカラム) ID
      • Name[String] (文字列)型、および[Db Column] (DBカラム) NAME
      • City[String] (文字列)型、および[Db Column] (DBカラム) CITY
    5. 他のオプションはそのままにしておきます。
  6. tLogRow_1を設定して出力レイアウトを指定します。コンポーネントの[Basic settings] (基本設定) ビューで、出力の優先モードを選択します。
  7. Snowflakeへの接続を閉じるようにtDBClose_1を設定するために使われます。コンポーネントの[Basic settings] (基本設定)ビューでは、以下のようになります。
    1. [Database] (データベース)リストからSnowflakeを選択し、[Apply] (適用)をクリックします。
    2. [Connection Component] (接続コンポーネント)リストからtDBConnection_1を選択します。
  8. Ctrl + Sキーを押してジョブを保存します。