tSnowflakeOutput標準プロパティ - 7.3

Snowflake

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Snowflake
データガバナンス > サードパーティーシステム > クラウドストレージ > Snowflake
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Snowflake

このプロパティはStandardジョブフレームワークで実行されているtSnowflakeOutputを設定するために使います。

StandardtSnowflakeOutputコンポーネントはCloudファミリーのコンポーネントです。

このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。

注: このコンポーネントは、動的データベースコネクターの特定のバージョンです。データベース設定に関連するプロパティは、データベースタイプの選択に応じて異なります。動的データベースコネクターについては、動的データベースコンポーネントを参照してください。

基本設定

データベース

データベースのタイプをリストから選択し、[Apply] (適用)をクリックします。

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

  • [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続プロパティの値を手動で指定する必要があります。

  • [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。このチェックボックスのとなりにある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーの内容)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

[Connection Component] (接続コンポーネント)ドロップダウンリストから他の接続コンポーネントを選択した場合、このプロパティは使用できません。

[Connection Component] (接続コンポーネント)

このコンポーネントで再利用するデータベース接続を開くコンポーネントを選択します。

[Account] (アカウント)

[Account] (アカウント)フィールドに、Snowflakeによって割り当てられたアカウント名を二重引用符で囲んで入力します。

[Authentication Type] (認証タイプ)

認証タイプを設定します。
  • [Basic] (基本): キーペア認証が有効でない場合は、このオプションを選択します。
  • [Key Pair] (キーペア): キーペア認証が有効な場合は、このオプションを選択します。キーペア認証の詳細は、キーペア認証を使うを参照してください。
  • OAuth 2.0: データアクセスに外部OAuthを使う場合は、このオプションを選択します。関連情報は、外部OAuthの概要を参照してください。
注: [Key Pair] (キーペア)オプションを選択する前に、tSetKeystoreコンポーネントの[Basic settings] (基本設定)ビューでキーペア認証データが次のように設定済みであることを確認します。
  • [TrustStore type] (TrustStoreタイプ)フィールドをそのままにしておきます。
  • [TrustStore file] (TrustStoreファイル)""に設定します。
  • [TrustStore password] (TrustStoreパスワード)フィールドをクリアします。
  • [Need Client authentication] (クライアント認証が必要)を選択します。
  • キーストアファイルへのパスを二重引用符で囲んで[KeyStore file] (KeyStoreファイル)フィールドに入力します(または[KeyStore file] (KeyStoreファイル)フィールドの右側にある[…]ボタンをクリックして、キーストアファイルに移動します)。
  • キーストアファイルのパスワードを[KeyStore password] (KeyStoreパスワード)フィールドに入力します。
  • [Check server identity] (サーバーIDのチェック)オプションをクリアします。
注: OAuth 2.0オプションは、Talendが提供するR2020-06以降のStudio月次アップデートをインストールした場合のみ利用できます。詳細は管理者にお問い合わせください。

[OAuth token endpoint] (OAuthトークンエンドポイント)

OAuth 2.0トークンエンドポイントを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストでOAuth 2.0が選択されている場合に利用できます。

[Client ID] (クライアントID)

アプリケーションのクライアントIDを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストでOAuth 2.0が選択されている場合に利用できます。

[Client Secret] (クライアントシークレット)

アプリケーションのクライアントシークレットを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストでOAuth 2.0が選択されている場合に利用できます。

[Grant type] (付与タイプ)

アクセストークン取得のために付与タイプを設定します。クライアント認証情報パスワードという2つのオプションがあります。

関連情報については、クライアント認証情報リソース所有者のパスワード認証情報を参照してください。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストでOAuth 2.0が選択されている場合に利用できます。

注: このオプションは、Talendが提供するR2020-10以降のStudio月次アップデートをインストールした場合のみ利用できます。詳細は管理者にお問い合わせください。

[OAuth username] (OAuthユーザー名)

OAuthユーザー名を入力します。

このオプションは、[Grant type] (付与タイプ)ドロップダウンリストで[Password] (パスワード)が選択されている場合に利用できます。

[OAuth password] (OAuthパスワード)

OAuthパスワードを入力します。

パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力した後、[OK]クリックして設定を保存します。

このオプションは、[Grant type] (付与タイプ)ドロップダウンリストで[Password] (パスワード)が選択されている場合に利用できます。

注: OAuthパスワードではスペースがサポートされていません。

Scope (スコープ)

スコープを入力します。関連情報はスコープを参照してください。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストでOAuth 2.0が選択されている場合に利用できます。

[User Id] (ユーザーID)[Password] (パスワード)

Snowflakeにログインするための認証情報を二重引用符で囲んで入力します。

  • [User ID]フィールドに、SnowflakeのLOGIN_NAMEパラメーターを使って、Snowflakeで定義されているログイン名を二重引用符で囲んで入力します。詳細は、Snowflakeシステムの管理者にお問い合わせください。

  • パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

[Warehouse] (ウェアハウス)

使用するSnowflakeウェアハウスの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

[Schema] (スキーマ)

使用するデータベーススキーマの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

[Database] (データベース)

使用するSnowflakeデータベースの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

[Table] (テーブル)

[...]ボタンをクリックし、表示されるウィザードで、使用するSnowflakeテーブルを選択します。

Schema (スキーマ)およびEdit schema (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

[Built-in] (組み込み): そのコンポーネントのみのスキーマを作成して、ローカルに保存します。

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

処理するSnowflake データタイプがVARIANT(変数)、OBJECT(オブジェクト)、またはARRAY(アレイ)の場合は、コンポーネントでスキーマを定義する際にスキーマエディターウィザードの[Type] (タイプ)カラムの対応するデータで[String] (文字列)を選択します。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを使用できます。

  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続を更新): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

null不可能なプリミティブフィールドの入力値がnullの場合、そのフィールドを含むデータ行はリジェクトされます。このコンポーネントは、ジョブ内のデータフローの終了コンポーネントです。次を介して他のコンポーネントからデータを受け取ります:

このコンポーネントはダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、『 Talend Studio ユーザーガイド』を参照してください。

このダイナミックスキーマ機能は、テーブルの不明なカラムを取得する目的で設計されており、この目的に限り使用をお勧めします。テーブルの作成で使用することは勧められていません。

[Table Action] (テーブルアクション)

テーブルで実行するアクションを選択します。

  • [NONE] (なし): テーブルをそのままにしておきます。
  • [DROP_CREATE]: テーブルを削除し、再作成します。
  • [CREATE] (作成): 新しいテーブルを作成します。
  • [CREATE_IF_NOT_EXISTS]: テーブルが存在しない場合は作成します。
  • [DROP_IF_EXISTS_AND_CREATE]: テーブルが既に存在する場合は削除し、再作成します。
  • [CLEAR] (クリア): テーブル内のすべてのデータレコードを削除します。
  • [TRUNCATE] (切り詰め): テーブル内のすべての行を削除します。このアクションにより、テーブルが占めているスペースが解除されます。
[Output Action] (出力のアクション)

Snowflakeデータベーステーブル内の受信データとデータレコードに対して実行する操作を選択します。Snowflakeテーブルのデータを挿入、削除、更新、マージできます。このオプションでは、[Table] (テーブル)フィールド内で指定したSnowflakeテーブルが既に存在することを想定しています。

  • [INSERT] (挿入): Snowflakeテーブルに新しいレコードを挿入します。
  • [UPDATE] (更新): Snowflakeテーブルの既存のレコードを更新します。
  • [UPSERT] (アップサート): 新しいレコードを作成し、既存のレコードを更新します。[Upsert Key Column] (キーカラムのアップサート)ドロップダウンリストからスキーマカラムを結合キーに指定するか、または[Advanced settings] (詳細設定)ビューで[Use schema keys for upsert] (スキーマキーをアップサートに使う)を選択することでスキーマキーを操作に使うように指定する必要があります。
    注: [Upsert Key Column] (キーカラムのアップサート)ドロップダウンリストは、[Use schema keys for upsert] (スキーマキーをアップサートに使う)が選択されていない場合に利用できます。
  • [DELETE] (削除): Snowflakeテーブルからレコードを削除します。

[Die on error] (エラー発生時に強制終了)

このオプションを選択して、エラーが発生した時にジョブの実行を終了します。このオプションをオフにして、エラーの発生した行をスキップし、エラーが発生していない行の処理を完了させます。

このオプションは[Row > Reject] (行 > リジェクト)接続で動作できません。

注: このオプションは、TalendのR2021-05以降のStudio月次アップデートをインストールした時のみ利用できます。詳細は管理者にお問い合わせください。

詳細設定

[Additional JDBC Parameters] (追加のJDBCパラメーター)

作成するデータベース接続に追加のJDBCパラメーターを指定します。

[Login Timeout] (ログインタイムアウト)

Snowflakeのログイン試行のタイムアウト期間を分単位で指定します。この期間内にレスポンスが返されないと、エラーが生成されます。

ロール

Snowflakeセッションを開始するために使用するデフォルトアクセス制御ロールを、二重引用符で囲んで入力します。

このロールは既に存在していて、Snowflakeへの接続に使用するユーザーIDに付与されている必要があります。このフィールドを空のままにしておくと、PUBLICロールが自動的に付与されます。Snowflakeのアクセス制御モデルについては、アクセス制御モデルの理解を参照してください。

[Region ID (Deprecated)] (リージョンID (非推奨))

たとえば、eu-west-1またはeast-us-2.azureのように、リージョンIDを二重引用符で囲んで入力します。SnowflakeリージョンIDの詳細は、Supported Cloud Regionsを参照してください。

tSnowflakeConnection以外のSnowflakeコンポーネントの場合、このフィールドは[Basic settings] (基本設定)ビューで[Connection Component] (接続コンポーネント)ドロップダウンリストから[Use This Component] (このコンポーネントを使う)を選択した場合に利用できます。

注: このフィールドは、TalendのR2021-04以降のStudio月次アップデートをインストールした時のみ利用できます。詳細は管理者にお問い合わせください。
[Allow Snowflake to convert columns and tables to uppercase] (Snowflakeによるカラムとテーブルの大文字への変換を許可)

このチェックボックスをオンにすると、定義された小文字のテーブル名とスキーマカラム名が大文字に変換されます。引用符で囲まれていない識別子は、Snowflake識別子構文に一致している必要があります。

チェックボックスをオフにすると、すべての識別子が自動的に引用符で囲まれます。

このプロパティは、[Manual Query] (手動クエリー)チェックボックスがオンの場合は使用できません。

Snowflake識別子構文の詳細は、識別子構文を参照してください。

[Convert empty strings to null] (空の文字列をNullに変換)

空の文字列をNullに変換するには、このオプションを選択します。

[Use schema keys for upsert] (スキーマキーをアップサートに使う)

スキーマキーをアップサート操作に使うには、このオプションを選択します。このオプションは、[Basic settings] (基本設定)ビューで[Output Action] (出力アクション)ドロップダウンリストから[UPSERT] (アップサート)を選択した場合に利用できます。

注: このオプションは、TalendのR2020-09以降のStudio月次アップデートをインストールした場合のみ利用できます。詳細は管理者にお問い合わせください。
カスタムDBタイプ このチェックボックスをオンにして、スキーマ内の各カラムにDBタイプを指定します。

このプロパティは、[Basic settings] (基本設定)[Table Action] (テーブルアクション)ドロップダウンリストからテーブル作成のアクションを選択した場合にのみ利用できます。

[Use schema date pattern] (スキーマの日付パターンを使用)

スキーマで定義されている日付パターンを使ってDate型のスキーマカラム内のデータを変換するには、このオプションを選択します。このためには、[Custom DB Type] (カスタムDBタイプ)フィールドで、スキーマカラムのDBタイプをSTRINGTEXT、またはVARCHARに指定することも必要です。

注: このオプションは、TalendのR2020-08以降のStudio月次アップデートをインストールした場合のみ利用できます。詳細は管理者にお問い合わせください。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

Global Variables

NB_LINE

処理された行数。これはAfter変数で、整数を返します。

NB_SUCCESS

正しく処理された行数。これはAfter変数で、整数を返します。

NB_REJECT

却下された行数。これはAfter変数で、整数を返します。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

使用方法

使用ルール

このコンポーネントは、ジョブ内のデータフローの終了コンポーネントです。このコンポーネントは、[Row] (行) > [Main] (メイン)リンクからデータを受け取ります。

[Row] (行) > [Rejects] (リジェクト)リンクを介してエラーメッセージを他のコンポーネントに送信することもできます。エラーについて示される情報の例は次のとおりです。
  • エラーが発生したカラムの名前。

  • エラーが発生した行の番号。

  • 解析エラーまたは変換エラーなど、エラーのカテゴリー。

  • エラーが発生した行の文字オフセット。

  • 関連するエラーメッセージ。

  • エラーが発生したバイトのオフセット。

  • エラーが発生した行の番号。

  • エラーのSQLSTATE。

  • Snowflakeエラーコード。