マテリアライズドビューとSnowflakeの外部テーブルを介してクラウドファイル内のデータをクエリー - 7.3

Snowflake

Version
7.3
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Snowflake
データガバナンス > サードパーティーシステム > クラウドストレージ > Snowflake
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Snowflake
Last publication date
2024-02-22

Talendがサポートしているテクノロジーの詳細は、Talendコンポーネントをご覧ください。

Snowflakeのデータはデータベースに保持されます。次を使用して、このデータをクエリーできます:
  • クラウドストレージにあるデータファイルを参照する外部テーブル。これらのテーブルは、外部ステージに保管されたデータファイルに関するファイルレベルのメタデータ(ファイル名、バージョン識別子、その他のプロパティなど)を保管するため、ファイル内のデータをクエリーするためのデータベーステーブルインターフェイスをユーザーに提供します。Snowflakeの外部テーブル機能については、https://docs.snowflake.net/manuals/user-guide/tables-external-intro.htmlをご覧ください

  • クエリーによって得られた事前計算されたデータを保管するマテリアライズドビュー。データは事前に計算されているため、マテリアライズドビューのクエリーは、元のクエリーを実行するよりも高速です。Snowflakeのマテリアルズドビュー機能については、https://docs.snowflake.net/manuals/user-guide/views-materialized.htmlをご覧ください。
このシナリオでは、Snowflake外部テーブルとマテリアライズドビューを介してAWSS3バケットに保存されているファイルのデータをクエリーする方法について説明します。以下のことが仮定されています。
  • 有効なAmazonS3ユーザーアカウントを持っていること。

  • データファイル(この例ではlog1.json)が、S3://my-bucketという名前のS3バケットの下のlogsフォルダーにあること。
  • 有効なSnowflakeユーザーアカウントを持っていること。