マテリアライズドビューとSnowflakeの外部テーブルを介してクラウドファイル内のデータをクエリー - 7.3

Snowflake

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Snowflake
データガバナンス > サードパーティーシステム > クラウドストレージ > Snowflake
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Snowflake

Talendがサポートしているテクノロジーの詳細は、Talendコンポーネントを参照してください。

Snowflakeのデータはデータベースに保持されます。次を使用して、このデータをクエリーできます:
  • クラウドストレージにあるデータファイルを参照する外部テーブル。これらのテーブルは、外部ステージに保管されたデータファイルに関するファイルレベルのメタデータ(ファイル名、バージョン識別子、その他のプロパティなど)を保管するため、ファイル内のデータをクエリーするためのデータベーステーブルインターフェイスをユーザーに提供します。Snowflakeの外部テーブル機能については、https://docs.snowflake.net/manuals/user-guide/tables-external-intro.htmlを参照してください

  • クエリーによって得られた事前計算されたデータを保管するマテリアライズドビュー。データは事前に計算されているため、マテリアライズドビューのクエリーは、元のクエリーを実行するよりも高速です。Snowflakeのマテリアルズドビュー機能については、https://docs.snowflake.net/manuals/user-guide/views-materialized.htmlを参照してください。
このシナリオでは、Snowflake外部テーブルとマテリアライズドビューを介してAWSS3バケットに保存されているファイルのデータをクエリーする方法について説明します。以下のことが仮定されています。
  • 有効なAmazonS3ユーザーアカウントを持っていること。

  • データファイル(この例ではlog1.json)が、S3://my-bucketという名前のS3バケットの下のlogsフォルダーにあること。
  • 有効なSnowflakeユーザーアカウントを持っていること。