tSnowflakeOutputの標準プロパティ - Cloud - 8.0

Snowflake

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Snowflake
データガバナンス > サードパーティーシステム > クラウドストレージ > Snowflake
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Snowflake
Last publication date
2024-03-07

これらのプロパティは、標準ジョブのフレームワークで実行されているtSnowflakeOutputを設定するために使われます。

標準tSnowflakeOutputコンポーネントは、Cloudファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。

注: このコンポーネントは、動的データベースコネクターの特定のバージョンです。データベース設定に関連するプロパティは、データベースタイプの選択に応じて異なります。動的データベースコネクターについては、DB Genericコンポーネントをご覧ください。

基本設定

データベース

目的のデータベースタイプをリストから選択し、[Apply] (適用)をクリックします。

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

  • [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続のプロパティ値を手動で指定する必要があります。

  • [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。

    このチェックボックスの横にある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーのコンテンツ)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

[Connection Component] (接続コンポーネント)ドロップダウンリストから、他の接続コンポーネントを選択した場合、これらのプロパティは、利用できません。

[Connection Component] (接続コンポーネント)

このコンポーネントで再利用するデータベース接続を開くコンポーネントを選択します。

[Account] (アカウント)

[Account] (アカウント)フィールドに、Snowflakeによって割り当てられたアカウント名を二重引用符で囲んで入力します。

[Authentication Type] (認証タイプ)

認証タイプを設定するために使われます。

注: [Key Pair] (キーペア)オプションを選択する前に、tSetKeyStoreコンポーネントの[Basic settings] (基本設定)ビューでキーペア認証データが次のように設定済みであることを確認します。
  1. [TrustStore type] (TrustStoreタイプ)フィールドをそのままにしておきます。
  2. [TrustStore file] (TrustStoreファイル)""に設定します。
  3. [TrustStore password] (TrustStoreパスワード)フィールドをクリアします。
  4. [Need Client authentication] (クライアント認証が必要)を選択します。
  5. KeyStoreファイルへのパスを二重引用符で囲んで[KeyStore file] (KeyStoreファイル)フィールドに入力します(または[KeyStore file] (KeyStoreファイル)フィールドの右側にある[…]ボタンをクリックして、KeyStoreファイルに移動します)。
  6. KeyStoreファイルのパスワードを[KeyStore password] (KeyStoreパスワード)フィールドに入力します。
  7. [Check server identity] (サーバーIDをチェック)オプションをクリアします。
[OAuth token endpoint] (OAuthトークンエンドポイント) OAuth 2.0トークンエンドポイントを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。

[Client ID] (クライアントID) アプリケーションのクライアントIDを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。

[Client Secret] (クライアントシークレット) アプリケーションのクライアントシークレットを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。

[Grant type] (付与タイプ) アクセストークン取得のために付与タイプを設定するために使われます。[Client Credentials] (クライアント認証情報)[Password] (パスワード)という2つのオプションがあります。

関連情報は、クライアント認証情報リソース所有者のパスワード認証情報をご覧ください。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。

[OAuth username] (OAuthユーザー名) OAuthユーザー名を入力します。

このオプションは、[Grant type] (付与タイプ)ドロップダウンリストから、[Password] (パスワード)が選択されている場合に利用できます。

[OAuth password] (OAuthパスワード) OAuthパスワードを入力します。

パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力した後、[OK]クリックして設定を保存します。

このオプションは、[Grant type] (付与タイプ)ドロップダウンリストから、[Password] (パスワード)が選択されている場合に利用できます。

注: OAuthパスワードではスペースがサポートされていません。
Scope (スコープ) スコープを入力します。関連情報はスコープをご覧ください。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストから、OAuth 2.0が選択されている場合に利用できます。

[User Id] (ユーザーID)[Password] (パスワード)

Snowflakeにログインするための認証情報を二重引用符で囲んで入力します。

  • [User ID]フィールドに、SnowflakeのLOGIN_NAMEパラメーターを使って、Snowflakeで定義されているログイン名を二重引用符で囲んで入力します。詳細は、Snowflakeシステムの管理者にお問い合わせください。

  • パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。

[Warehouse] (ウェアハウス)

使用するSnowflakeウェアハウスの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

[Schema] (スキーマ)

使用するデータベーススキーマの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

[Database] (データベース)

使用するSnowflakeデータベースの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

[Table] (テーブル)

[...]ボタンをクリックし、表示されるウィザードで、使用するSnowflakeテーブルを選択します。

[Schema] (スキーマ)および[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

処理するSnowflake データ型がVARIANT(変数)、OBJECT(オブジェクト)、またはARRAY(配列)の場合は、コンポーネントでスキーマを定義する際にスキーマエディターウィザードの[Type] (タイプ)カラムの対応するデータで[String] (文字列)を選択します。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

  • [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

    変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

null不可能なプリミティブフィールドの入力値がnullの場合、そのフィールドを含むデータ行は拒否されることにご注意ください。

このコンポーネントは、ダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、ダイナミックスキーマをご覧ください。

ダイナミックスキーマ機能は、テーブルの不明なカラムを取得するしくみになっており、その他の目的には使用しないことをお勧めします。テーブルの作成には推奨しません。

[Table Action] (テーブルアクション) テーブルで実行するアクションを選択します。
  • [NONE] (なし): テーブルをそのままにしておきます。
  • [DROP_CREATE]: テーブルを削除し、再作成します。
  • [CREATE] (作成): 新しいテーブルを作成します。
  • [CREATE_IF_NOT_EXISTS]: テーブルが存在しない場合は作成します。
  • [DROP_IF_EXISTS_AND_CREATE]: テーブルが既に存在する場合は削除し、再作成します。
  • [CLEAR] (クリア): テーブル内のすべてのデータレコードを削除します。
  • [TRUNCATE] (切り詰め): テーブル内のすべての行を削除します。このアクションにより、テーブルが占めているスペースが解除されます。
[Output Action] (出力アクション) Snowflakeデータベーステーブル内の受信データとデータレコードに対して実行する操作を選択します。Snowflakeテーブルのデータを挿入、削除、アップデート、マージできます。このオプションでは、[Table] (テーブル)フィールド内で指定したSnowflakeテーブルが既に存在することを想定しています。
  • [INSERT] (挿入): Snowflakeテーブルに新しいレコードを挿入します。
  • [UPDATE] (アップデート): Snowflakeテーブルの既存のレコードをアップデートします。
  • [UPSERT] (アップサート): 新しいレコードを作成し、既存のレコードをアップデートします。[Upsert Key Column] (キーカラムのアップサート)ドロップダウンリストから、スキーマカラムを結合キーに指定するか、または[Advanced settings] (詳細設定)ビューで[Use schema keys for upsert] (スキーマキーをアップサートに使う)を選択することでスキーマキーを操作に使うように指定する必要があります。
    注: [Upsert Key Column] (キーカラムのアップサート)ドロップダウンリストは、[Use schema keys for upsert] (スキーマキーをアップサートに使う)が選択されていない場合に利用できます。
  • [DELETE] (削除): Snowflakeテーブルからレコードを削除します。
Die on error (エラー発生時に強制終了)

このオプションを選択して、エラーが発生した時にジョブの実行を終了します。このオプションをオフにして、エラーの発生した行をスキップし、エラーが発生していない行の処理を完了させます。

このオプションは[Row > Reject] (行 > リジェクト)接続で動作できません。

詳細設定

[Additional JDBC Parameters] (追加のJDBCパラメーター)

作成するデータベース接続に追加のJDBCパラメーターを指定します。

[Login Timeout] (ログインタイムアウト)

Snowflakeのログイン試行のタイムアウト期間を分単位で指定します。この期間内にレスポンスが返されないと、エラーが生成されます。

ロール

Snowflakeセッションを開始するために使用するデフォルトアクセス制御ロールを、二重引用符で囲んで入力します。

このロールは既に存在していて、Snowflakeへの接続に使用するユーザーIDに付与されている必要があります。このフィールドを空のままにしておくと、PUBLICロールが自動的に付与されます。Snowflakeのアクセス制御モデルについては、アクセス制御モデルの理解をご覧ください。

[Region ID (Deprecated)] (リージョンID (非推奨)) たとえば、eu-west-1またはeast-us-2.azureのように、リージョンIDを二重引用符で囲んで入力します。SnowflakeリージョンIDの詳細は、Supported Cloud Regionsをご覧ください。

tSnowflakeConnection以外のSnowflakeコンポーネントの場合、このフィールドは[Basic settings] (基本設定)ビューで[Connection Component] (接続コンポーネント)ドロップダウンリストから、[Use this Component] (このコンポーネントを使用)を選択した場合に利用できます。

[Allow Snowflake to convert columns and tables to uppercase] (Snowflakeによるカラムとテーブルの大文字への変換を許可) このチェックボックスをオンにすると、定義された小文字のテーブル名とスキーマカラム名が大文字に変換されます。引用符で囲まれていない識別子は、Snowflake識別子構文に一致している必要があります。

チェックボックスをオフにすると、すべての識別子が自動的に引用符で囲まれます。

これらのプロパティは、[Manual Query] (手動クエリー)チェックボックスがオンの場合は利用できません。

Snowflake識別子構文の詳細は、識別子構文をご覧ください。

[Convert empty strings to null] (空の文字列をNullに変換) このオプションを選択すると、空の文字列をNullに変換できます。
[Use existing database schema as the dynamic schema] (既存のダイナミックスキーマをダイナミックスキーマとして使用) ダイナミックスキーマ機能を使用している場合にこのチェックボックスを選択すれば、(テーブルが存在する場合は)データベース自体からスキーマを選べるようになれます。このオプションが選択されていなければ、デフォルトでは入力スキーマが選択されていません。
[Use schema keys for upsert] (スキーマキーをアップサートに使う) このオプションを選択すると、スキーマキーをアップサート操作に使用できます。このオプションは、[Basic settings] (基本設定)ビューで[Output Action] (出力アクション)ドロップダウンリストから、[UPSERT] (アップサート)を選択した場合に利用できます。
カスタムDBタイプ このチェックボックスをオンにして、スキーマ内の各カラムにDBタイプを指定します。

これらのプロパティは、[Basic settings] (基本設定)[Table Action] (テーブルアクション)ドロップダウンリストからテーブル作成のアクションを選択した場合のみ利用できます。

[Use schema date pattern] (スキーマの日付パターンを使用) スキーマで定義されている日付パターンを使ってDate型のスキーマカラム内のデータを変換するには、このオプションを選択します。このためには、[Custom DB Type] (カスタムDBタイプ)フィールドで、スキーマカラムのDBタイプをSTRINGTEXT、またはVARCHARに指定することも必要です。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

NB_LINE

処理された行数。これはAfter変数で、整数を返します。

NB_SUCCESS

正しく処理された行数。これはAfter変数で、整数を返します。

NB_REJECT

リジェクトされた行数。これはAfter変数で、整数を返します。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

使用方法

使用ルール

このコンポーネントは、ジョブ内のデータフローの終了コンポーネントです。このコンポーネントは、[Row] (行) > [Main] (メイン)リンクからデータを受け取ります。

[Row] (行) > [Rejects] (リジェクト)リンクを介してエラーメッセージを他のコンポーネントに送信することもできます。エラーについて示される情報の例は次のとおりです。
  • エラーが発生したカラムの名前。

  • エラーが発生した行の番号。

  • 解析エラーまたは変換エラーなど、エラーのカテゴリー。

  • エラーが発生した行の文字オフセット。

  • 関連するエラーメッセージ。

  • エラーが発生したバイトのオフセット。

  • エラーが発生した行の番号。

  • エラーのSQLSTATE。

  • Snowflakeエラーコード。