Talend Snowflakeコンポーネント - 7.3

Snowflake

EnrichVersion
Cloud
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
EnrichPlatform
Talend Studio
task
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Snowflake
データガバナンス > サードパーティーシステム > クラウドストレージ > Snowflake
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Snowflake
TalendジョブでSnowflakeに接続し、通信するにはSnowflakeコンポーネントとJDBCコンポーネントという2種類のメソッドがあります。

お勧めはSnowflakeサービス内でデータのネイティブ接続と直接データ操作(DML)を提供する、新しいSnowflakeコンポーネントを使用する方法です。

あるいは、データ定義(DDL)が必要な場合に、幅広い機能を提供する汎用JDBCコンポーネントを使用することもできます。これらSnowflake統合機能により、Talendの開発者に対してTalendジョブでのSnowflakeデータ処理オプションが提供されています。

tSnowflakeConnectionとtJDBCConnection

SnowflakeがTalendジョブ内でどのように動作するかについて詳しく見てみましょう。

この最初の例では、tSnowflakeConnectionコンポーネントが接続を確立します。接続定義または必要なすべてのパラメーターを指定していずれかを使用するか(詳細についてはTalendSnowflake接続の下の説明を参照)、またはできれば[Repository] (プロパティタイプ)の接続設定を[Built-In] (組み込み)から[Repository] (リポジトリー)に変更し、以前に作成した定義済みの接続の1つを選択します。

別の方法として、2番目の例ではtJDBCConnectionコンポーネントを使用しています。必要なフィールドに入力するか、Built-In (組み込み)からRepository (リポジトリー)プロパティタイプに変更し、以前に作成した定義済みの接続の1つを選択します。

いずれの場合も、推奨されるベストプラクティスによりジョブデザインの有効な接続をチェックし、実行時に接続できない場合は終了します。

tWarnとtDie

ベストプラクティスは、tWarnおよびtDieコンポーネントを組み込むことです。さらに、ジョブデザインにSnowflake接続が組み込まれると、データ操作が必要な他のコンポーネントでも使用できるようになります。

tSnowflakeCloseとtJDBCClose

Snowflake接続を使用する場合のベストプラクティスは、Talendジョブを終了する前に接続を解除することです。これを実現するには、tSnowflakeCloseコンポーネントまたはtJDBCCloseコンポーネントを使用します。
通常はtPostJobコンポーネントによってトリガーされます。

tSnowflakeInputとtSnowflakeOutput

最後の手順では、tSnowflakeInputおよびtSnowflakeOutputコンポーネントを使用して、Snowflake接続のデータを操作します。これらのコンポーネントを使用すると、Built-In (組み込み)またはRepository (リポジトリー)Property Type (プロパティタイプ)の接続設定を選択できます。または、前述のようにTalendジョブで作成された接続オブジェクトから選択することもできます。これら2つのコンポーネントはOracle、MS SQL Server、MySQLなどに対応するStudio Paletteに存在する他の多数のデータベースコンポーネントと同様に機能します。これらのコンポーネントの使用経験がおありであれば、新しいSnowflakeコンポーネントについても同様にご理解いただけます。

この例では、ジョブで宣言された接続を使用するtSnowflakeInputコンポーネントを示しています。選択されたSchema (スキーマ)によりテーブル名が決定され、Condition (条件)を使用するとデータ取得時に(WHERE句と類似した)フィルターを追加できます。tSnowflakeInputコンポーネントは、tMapコンポーネントのルックアップに使用されていることも示されており、その設計に基づいて適切なSQL結合を行います。
注: tSnowflakeInputコンポーネントでは、選択されたテーブルで指定されたスキーマに基づく暗黙的なSELECT機能がサポートされています。
次の例は、Project Repository (プロジェクトリポジトリー)から接続が選択されているtSnowflakeOutputコンポーネントを示し、基本的に実行時に特定のコンポーネントの実際の接続を作成します。コンポーネントの操作が完了した(渡されたデータセットの挿入が終了した)時点で 、接続は終了します。この手法では、ジョブデザイナーに接続管理の選択肢が提供されます。