Snowflake外部テーブルジョブを設定する - 7.3

Snowflake

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Snowflake
データガバナンス > サードパーティーシステム > クラウドストレージ > Snowflake
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Snowflake

手順

  1. tDBConnection_1を設定してSnowflakeへの接続を確立します。コンポーネントの[Basic settings] (基本設定)ビューでは、以下のようになります。
    1. [Database] (データベース)リストからSnowflakeを選択し、[Apply] (適用)をクリックします。
    2. 残りのフィールドに次のSnowflake認証情報項目を入力します。
      • Snowflakeアカウント名を[Account] (アカウント)フィールドに
      • Snowflakeリージョン
      • SnowflakeユーザーIDを[User Id] (ユーザーID)フィールドに
      • Snowflakeアカウント名のパスワードを[Password] (パスワード)フィールドに
      • Snowflakeウェアハウス
      • Snowflakeスキーマ
      • Snowflakeデータベース
  2. tDBRow_1を設定してファイルS3://my-bucket/logs/log1.jsonを参照するステージを作成します。コンポーネントの[Basic settings] (基本設定)ビューでは、以下のようになります。
    1. [Database] (データベース)リストからSnowflakeを選択し、[Apply] (適用)をクリックします。
    2. [Connection Component] (接続コンポーネント)リストからtDBConnection_1を選択します。
    3. [Query] (クエリー)フィールドに次のコードを二重引用符で囲んで入力します。
      CREATE OR REPLACE STAGE mystage
      	url='s3://my-bucket/logs/'
      	credentials=(aws_key_id='your_AWS_key_ID' aws_secret_key='your_AWS_secret_key')
      	file_format = (type = json);
    4. 他のオプションはそのままにしておきます。
  3. tDBRow_2を設定して、ステージの外部テーブルを作成します。コンポーネントの[Basic settings] (基本設定)ビューでは、以下のようになります。
    1. [Database] (データベース)リストからSnowflakeを選択し、[Apply] (適用)をクリックします。
    2. [Connection Component] (接続コンポーネント)リストからtDBConnection_1を選択します。
    3. [Query] (クエリー)フィールドに次のコードを二重引用符で囲んで入力します。
      CREATE OR REPLACE EXTERNAL TABLE logs (
      	id varchar as (value:id::varchar),
      	name varchar as (value:name::varchar),
      	city varchar as (value:address::varchar))
      	location=@mystage
      	auto_refresh = true
      	file_format=(type=json);
    4. 他のオプションはそのままにしておきます。
  4. S3://logs/log1.jsonファイルを使用して外部テーブルを更新するようにtDBRow_3を設定します。コンポーネントの[Basic settings] (基本設定)ビューでは、以下のようになります。
    1. [Database] (データベース)リストからSnowflakeを選択し、[Apply] (適用)をクリックします。
    2. [Connection Component] (接続コンポーネント)リストからtDBConnection_1を選択します。
    3. [Query] (クエリー)フィールドに次のコードを二重引用符で囲んで入力します。
      ALTER EXTERNAL logs REFRESH;
    4. 他のオプションはそのままにしておきます。
  5. 外部テーブルをクエリーするようにtDBInput_1を設定します。コンポーネントの[Basic settings] (基本設定)ビューでは、以下のようになります。
    1. [Database] (データベース)リストからSnowflakeを選択し、[Apply] (適用)をクリックします。
    2. [Connection Component] (接続コンポーネント)リストからtDBConnection_1を選択します。
    3. [Query] (クエリー)フィールドに次のコードを二重引用符で囲んで入力します。
      SELECT id,name,city FROM logs;
    4. [Edit schema] (スキーマを編集)の右側にある[...]ボタンをクリックします。次の3つのカラムを追加し、[OK]をクリックしてスキーマをプロパゲートします。
      • ID[String] (文字列)型、および[Db Column] (DBカラム) ID
      • Name[String] (文字列)型、および[Db Column] (DBカラム) NAME
      • City[String] (文字列)型、および[Db Column] (DBカラム) CITY
    5. 他のオプションはそのままにしておきます。
  6. tLogRow_1を設定して出力レイアウトを指定します。コンポーネントの[Basic settings] (基本設定) ビューで、出力の優先モードを選択します。
  7. Snowflakeへの接続を閉じるようにtDBClose_1を設定します。コンポーネントの[Basic settings] (基本設定)ビューでは、以下のようになります。
    1. [Database] (データベース)リストからSnowflakeを選択し、[Apply] (適用)をクリックします。
    2. [Connection Component] (接続コンポーネント)リストからtDBConnection_1を選択します。
  8. Ctrl + Sキーを押してジョブを保存します。