tSnowflakeBulkExec標準プロパティ - 7.3

Snowflake

EnrichVersion
Cloud
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
EnrichPlatform
Talend Studio
task
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Snowflake
データガバナンス > サードパーティーシステム > クラウドストレージ > Snowflake
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Snowflake

このプロパティはStandardジョブフレームワークで実行されているtSnowflakeBulkExecを設定するために使います。

Standard tSnowflakeBulkExecコンポーネントは、Cloudファミリーのコンポーネントです。

このフレームワークのコンポーネントは、すべてのサブスクリプションベースのTalend製品で使用できます。

注: このコンポーネントは、動的データベースコネクターの特定のバージョンです。データベース設定に関連するプロパティは、データベースタイプの選択に応じて異なります。動的データベースコネクターについては、pzz1550477830065.htmlを参照してください。

基本設定

[Database] (データベース)

データベースのタイプをリストから選択し、[Apply] (適用)をクリックします。

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

  • [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続プロパティの値を手動で指定する必要があります。

  • [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。このチェックボックスのとなりにある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーの内容)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

このプロパティは、[Connection Component] (接続コンポーネント)ドロップダウンリストから[Use this Component] (このコンポーネントを使う)を選択した場合に使用できます。

[Connection Component] (接続コンポーネント)

このコンポーネントで再利用するデータベース接続を開くコンポーネントを選択します。

[Account] (アカウント)

[Account] (アカウント)フィールドに、Snowflakeによって割り当てられたアカウント名を二重引用符で囲んで入力します。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストから[Use this Component] (このコンポーネントを使う)を選択した場合にのみ利用できます。

[Authentication Type] (認証タイプ)

認証タイプを設定します。
  • [Basic] (基本): キーペア認証が有効でない場合は、このオプションを選択します。
  • [Key Pair] (キーペア): キーペア認証が有効な場合は、このオプションを選択します。キーペア認証の詳細は、キーペア認証を使うを参照してください。
  • OAuth 2.0: データアクセスに外部OAuthを使う場合は、このオプションを選択します。関連情報は、外部OAuthの概要を参照してください。
注: [Key Pair] (キーペア)オプションを選択する前に、tSetKeystoreコンポーネントの[Basic settings] (基本設定)ビューでキーペア認証データが次のように設定済みであることを確認します。
  • [TrustStore type] (TrustStoreタイプ)フィールドをそのままにしておきます。
  • [TrustStore file] (TrustStoreファイル)""に設定します。
  • [TrustStore password] (TrustStoreパスワード)フィールドをクリアします。
  • [Need Client authentication] (クライアント認証が必要)を選択します。
  • キーストアファイルへのパスを二重引用符で囲んで[KeyStore file] (KeyStoreファイル)フィールドに入力します(または[KeyStore file] (KeyStoreファイル)フィールドの右側にある[…]ボタンをクリックして、キーストアファイルに移動します)。
  • キーストアファイルのパスワードを[KeyStore password] (KeyStoreパスワード)フィールドに入力します。
  • [Check server identity] (サーバーIDのチェック)オプションをクリアします。
注: OAuth 2.0オプションは、Talendが提供するR2020-06以降のStudio月次アップデートをインストールした場合のみ利用できます。詳細は管理者にお問い合わせください。

[OAuth token endpoint] (OAuthトークンエンドポイント)

OAuth 2.0トークンエンドポイントを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストでOAuth 2.0が選択されている場合に利用できます。

[Client ID] (クライアントID)

アプリケーションのクライアントIDを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストでOAuth 2.0が選択されている場合に利用できます。

[Client Secret] (クライアントシークレット)

アプリケーションのクライアントシークレットを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストでOAuth 2.0が選択されている場合に利用できます。

[Grant type] (付与タイプ)

アクセストークン取得のために付与タイプを設定します。クライアント認証情報パスワードという2つのオプションがあります。

関連情報については、クライアント認証情報リソース所有者のパスワード認証情報を参照してください。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストでOAuth 2.0が選択されている場合に利用できます。

注: このオプションは、Talendが提供するR2020-10以降のStudio月次アップデートをインストールした場合のみ利用できます。詳細は管理者にお問い合わせください。

[OAuth username] (OAuthユーザー名)

OAuthユーザー名を入力します。

このオプションは、[Grant type] (付与タイプ)ドロップダウンリストで[Password] (パスワード)が選択されている場合に利用できます。

[OAuth password] (OAuthパスワード)

OAuthパスワードを入力します。

パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力した後、[OK]クリックして設定を保存します。

このオプションは、[Grant type] (付与タイプ)ドロップダウンリストで[Password] (パスワード)が選択されている場合に利用できます。

注: OAuthパスワードではスペースがサポートされていません。

Scope (スコープ)

スコープを入力します。関連情報はスコープを参照してください。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストでOAuth 2.0が選択されている場合に利用できます。

[User Id] (ユーザーID)[Password] (パスワード)

Snowflakeにログインするための認証情報を二重引用符で囲んで入力します。

  • [User ID]フィールドに、SnowflakeのLOGIN_NAMEパラメーターを使って、Snowflakeで定義されているログイン名を二重引用符で囲んで入力します。詳細は、Snowflakeシステムの管理者にお問い合わせください。

  • パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストから[Use this Component] (このコンポーネントを使う)を選択した場合にのみ利用できます。

[Warehouse] (ウェアハウス)

使用するSnowflakeウェアハウスの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストから[Use this Component] (このコンポーネントを使う)を選択した場合にのみ利用できます。

[Schema] (スキーマ)

使用するデータベーススキーマの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストから[Use this Component] (このコンポーネントを使う)を選択した場合にのみ利用できます。

[Database] (データベース)

使用するSnowflakeデータベースの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストから[Use this Component] (このコンポーネントを使う)を選択した場合にのみ利用できます。

[Table] (テーブル)

[...]ボタンをクリックし、表示されるウィザードで、使用するSnowflakeテーブルを選択します。

新しいテーブルにデータをロードするには、ウィザードで[Use custom object] (カスタムオブジェクトを使う)を選択し、[Object Name] (オブジェクト名)フィールドに新しいテーブルの名前を入力します。

Schema (スキーマ)およびEdit schema (スキーマの編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

[Built-in] (組み込み): そのコンポーネントのみのスキーマを作成して、ローカルに保存します。

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

処理するSnowflake データタイプがVARIANT(変数)、OBJECT(オブジェクト)、またはARRAY(アレイ)の場合は、コンポーネントでスキーマを定義する際にスキーマエディターウィザードの[Type] (タイプ)カラムの対応するデータで[String] (文字列)を選択します。

スキーマを変更するには[Edit schema] (スキーマの編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを使用できます。

  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続を更新): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

null不可能なプリミティブフィールドの入力値がnullの場合、そのフィールドを含むデータ行は拒否されることに注意してください。

このコンポーネントではダイナミックスキーマ機能のメリットが提供されています。ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、 Talend Studio ユーザーガイドを参照してください。

このダイナミックスキーマ機能は、テーブルの不明なカラムを取得する目的で設計されており、この目的に限り使用をお勧めします。テーブルの作成で使用することは勧められていません。

[Table Action] (テーブルアクション)

テーブルで実行するアクションを選択します。

  • [NONE] (なし): テーブルをそのままにしておきます。
  • [DROP_CREATE]: テーブルを削除し、再作成します。
  • [CREATE] (作成): 新しいテーブルを作成します。
  • [CREATE_IF_NOT_EXISTS]: テーブルが存在しない場合は作成します。
  • [DROP_IF_EXISTS_AND_CREATE]: テーブルが既に存在する場合は削除し、再作成します。
  • [CLEAR] (クリア): テーブル内のすべてのデータレコードを削除します。
  • [TRUNCATE] (切り詰め): テーブル内のすべての行を削除します。このアクションにより、テーブルが占めているスペースが解除されます。
[Output Action] (出力のアクション)

Snowflakeデータベーステーブル内の受信データとデータレコードに対して実行する操作を選択します。Snowflakeテーブルのデータを挿入、削除、更新、マージできます。このオプションでは、[Table] (テーブル)フィールド内で指定したSnowflakeテーブルが既に存在することを想定しています。

  • [INSERT] (挿入): Snowflakeテーブルに新しいレコードを挿入します。
  • [UPDATE] (更新): Snowflakeテーブルの既存のレコードを更新します。
  • [UPSERT] (アップサート): 新しいレコードを作成し、既存のレコードを更新します。[Upsert Key Column] (キーカラムのアップサート)ドロップダウンリストからスキーマカラムを結合キーに指定するか、または[Advanced settings] (詳細設定)ビューで[Use schema keys for upsert] (スキーマキーをアップサートに使う)を選択することでスキーマキーを操作に使うように指定する必要があります。
    注: [Upsert Key Column] (キーカラムのアップサート)ドロップダウンリストは、[Use schema keys for upsert] (スキーマキーをアップサートに使う)が選択されていない場合に利用できます。
  • [DELETE] (削除): Snowflakeテーブルからレコードを削除します。
ストレージ データをテーブルにロードするストレージのタイプを選択します。
  • [Internal] (内部): 内部Snowflakeストレージフォルダーに保管されているファイルからデータをロードします。また、[Stage Folder] (ストレージフォルダー)内の二重引用符で囲まれたフォルダーを指定する必要があります。
  • [S3]: Amazon S3バケットの下にあるフォルダーに保管されているファイルからデータをロードします。また、[Region] (リージョン)[Access Key] (アクセスキー) (二重引用符内)、[Secret Key] (シークレットキー)[Bucket] (バケット) (二重引用符内)、[Folder] (フォルダー) (二重引用符内)を含め、S3ユーザーアカウントに関する情報も入力が必要です。
  • [Azure]: [Azure]フォルダーに保管されているファイルからデータをロードします。また、[Protocol] (プロトコル)[Account Name] (アカウント名) (二重引用符内)、[Container] (コンテナー) (二重引用符内)、[Folder] (フォルダー) (二重引用符内)、[SAS Token] (SASトークン)を含め、Azureユーザーアカウントに関する情報も入力が必要です。
ステージフォルダー データのロード元とするSnowflakeステージフォルダーを指定します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Internal] (内部)を選択した場合にのみ利用できます。

[Region] (リージョン) S3バケットが存在するリージョンを指定します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[S3]を選択した場合にのみ利用できます。

[Access Key] (アクセスキー)および[Secret Key] (シークレットキー) 使用するAmazon S3バケットへの接続に必要な認証情報を入力します。

パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[S3]を選択した場合にのみ利用できます。

[Bucket] (バケット) データのロードに使うバケットの名前を入力します。既存のバケットを用意しておく必要があります。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[S3]を選択した場合にのみ利用できます。

[Folder] (フォルダー) データのロード元とするフォルダーを入力します(二重引用符内)。

このフィールドは、[Storage] (ストレージ)ドロップダウンリストからS3またはAzureが選択されている場合に使えます。

[Protocol] (プロトコル) Azure接続の作成に使うプロトコルを選択します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Azure]を選択した場合にのみ利用できます。

Account Name (アカウント名) アクセスする必要があるAzureストレージのアカウント名を入力します(二重引用符内)。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Azure]を選択した場合にのみ利用できます。

[Container] (コンテナー)[Folder] (フォルダー) データの保管と管理に使うAzureコンテナーとフォルダーを指定します(二重引用符内)。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Azure]を選択した場合にのみ利用できます。

SASトークン ストレージアカウント内のオブジェクトに対する制限付きアクセスを付与するSASトークンを指定します。

SASトークンを入力するには、SASトークンフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Azure]を選択した場合にのみ利用できます。

詳細設定

[Additional JDBC Parameters] (追加のJDBCパラメーター)

作成するデータベース接続に追加の接続プロパティを指定します。プロパティはセミコロンで区切られ、各プロパティはキー/値ペアです。たとえば、encryption=1;clientname=Talendになります。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストから[Use this Component] (このコンポーネントを使う)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストから[Internal] (内部)を選択した場合にのみ利用できます。

[Login Timeout] (ログインタイムアウト)

Snowflakeのログイン試行のタイムアウト期間を分単位で指定します。この期間内にレスポンスが返されないと、エラーが生成されます。

ロール

Snowflakeセッションを開始するために使用するデフォルトアクセス制御ロールを、二重引用符で囲んで入力します。

このロールは既に存在していて、Snowflakeへの接続に使用するユーザーIDに付与されている必要があります。このフィールドを空のままにしておくと、PUBLICロールが自動的に付与されます。Snowflakeのアクセス制御モデルについては、アクセス制御モデルの理解を参照してください。

[Region ID (Deprecated)] (リージョンID (非推奨))

たとえば、eu-west-1またはeast-us-2.azureのように、リージョンIDを二重引用符で囲んで入力します。SnowflakeリージョンIDの詳細は、Supported Cloud Regionsを参照してください。

tSnowflakeConnection以外のSnowflakeコンポーネントの場合、このフィールドは[Basic settings] (基本設定)ビューで[Connection Component] (接続コンポーネント)ドロップダウンリストから[Use This Component] (このコンポーネントを使う)を選択した場合に利用できます。

注: このフィールドは、TalendのR2021-04以降のStudio月次アップデートをインストールした時のみ利用できます。詳細は管理者にお問い合わせください。
[Allow Snowflake to convert columns and tables to uppercase] (Snowflakeによるカラムとテーブルの大文字への変換を許可)

このチェックボックスをオンにすると、定義された小文字のテーブル名とスキーマカラム名が大文字に変換されます。引用符で囲まれていない識別子は、Snowflake識別子構文に一致している必要があります。

チェックボックスをオフにすると、すべての識別子が自動的に引用符で囲まれます。

このプロパティは、[Manual Query] (手動クエリー)チェックボックスがオンの場合は使用できません。

Snowflake識別子構文の詳細は、識別子構文を参照してください。

[Use schema keys for upsert] (スキーマキーをアップサートに使う)

スキーマキーをアップサート操作に使うには、このオプションを選択します。このオプションは、[Basic settings] (基本設定)ビューで[Output Action] (出力アクション)ドロップダウンリストから[UPSERT] (アップサート)を選択した場合に利用できます。

注: このオプションは、TalendのR2020-09以降のStudio月次アップデートをインストールした場合のみ利用できます。詳細は管理者にお問い合わせください。
[Temporary Table Schema] (一時テーブルスキーマ) 一時テーブルにスキーマを指定します。

スキーマは存在している必要があります。

カスタムDBタイプ このチェックボックスをオンにして、スキーマ内の各カラムにDBタイプを指定します。

このプロパティは、[Basic settings] (基本設定)[Table Action] (テーブルアクション)ドロップダウンリストからテーブル作成のアクションを選択した場合にのみ利用できます。

[Delete Storage Files On Success] (成功時にストレージファイルを削除) データのテーブルへのロードが成功すると、ストレージフォルダー内のすべてのファイルを削除します。

[Use Custom Storage Location] (カスタムストレージの場所を使用)を選択すると、このフィールドは使えません。

S3エラー再試行最大回数

S3フォルダーとの間でデータの送受信中にエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[S3]を選択した場合にのみ利用できます。

Azureエラー再試行最大回数

Azureフォルダーとの間でデータの送受信中にエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Azure]を選択した場合にのみ利用できます。

カスタムS3接続設定の使用 カスタムS3設定を使う場合は、このチェックボックスをオンにします。

[Option] (オプション): リストからパラメーターを選択します。

[Value] (値): パラメーター値を入力します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[S3]を選択した場合にのみ利用できます。

カスタムステージプレフィックスの使用

データのロード元のフォルダーへのパスを指定する(現在のステージがルートの場合)には、このチェックボックスをオンにします。表示されたフィールドにフォルダーへのパスを入力することも必要です。たとえば、ステージ下のmyfolder1/myfolder2にあるファイル内に保管されているデータをロードするには、フィールドに"@~/myfolder1/myfolder2"と入力する必要があります。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Internal] (内部)を選択した場合にのみ利用できます。

選択すると、[Basic settings] (基本設定)ビュー内の[Stage Folder] (ステージフォルダー)は利用できなくなります。

カスタムストレージの場所を使用 カスタム外部ストレージ(たとえばS3)に接続するには、このチェックボックスをオンにします。
コマンドオプションのコピー ドロップダウンリストから以下のオプションを選択し、COPY INTOコマンドのパラメーターを設定します。COPY INTOコマンドはSnowflakeによって提供されます。このコマンドにより、データがSnowflakeデータベーステーブルにロードされます。
  • [Default] (デフォルト): 右側のフレームにリスト表示されているデフォルト設定を使ってCOPY INTO操作を実行します。
  • [Table] (テーブル): [Options] (オプション)テーブルを使ってCOPY INTO操作パラメーターを設定します。パラメーターを設定するには、[+]ボタンをクリックし、[Option] (オプション)カラムからパラメーターを選択し、[Value] (値)カラムにパラメーター値を設定します。
  • [Manual] (手動): 右側のテキストフレームにCOPY INTO操作パラメーターを手動で設定します。
COPY INTOコマンドのパラメーターについては、COPY INTOコマンドを参照してください。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

NB_LINE

処理された行数。これはAfter変数で、整数を返します。

NB_SUCCESS

正しく処理された行数。これはAfter変数で、整数を返します。

NB_REJECT

却下された行数。これはAfter変数で、整数を返します。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

使用方法

[Usage rule] (使用ルール)

このコンポーネントはジョブやサブジョブのスタンドアロンコンポーネントとして使えます。