tSnowflakeOutputBulk標準プロパティ - 7.3

Snowflake

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Snowflake
データガバナンス > サードパーティーシステム > クラウドストレージ > Snowflake
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Snowflake

このプロパティはStandardジョブフレームワークで実行されているtSnowflakeOutputBulkを設定するために使います。

Standard tSnowflakeOutputBulkコンポーネントはCloudファミリーのコンポーネントです。

このフレームワークのコンポーネントは、すべてのサブスクリプションベースのTalend製品で使用できます。

注: このコンポーネントは、動的データベースコネクターの特定のバージョンです。データベース設定に関連するプロパティは、データベースタイプの選択に応じて異なります。動的データベースコネクターについては、動的データベースコンポーネントを参照してください。

基本設定

データベース

データベースのタイプをリストから選択し、[Apply] (適用)をクリックします。

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

  • [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続プロパティの値を手動で指定する必要があります。

  • [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。このチェックボックスのとなりにある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーの内容)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

[Connection Component] (接続コンポーネント)ドロップダウンリストから他の接続コンポーネントを選択した場合、このプロパティは使用できません。

[Connection Component] (接続コンポーネント)

このコンポーネントで再利用するデータベース接続を開くコンポーネントを選択します。

[Account] (アカウント)

[Account] (アカウント)フィールドに、Snowflakeによって割り当てられたアカウント名を二重引用符で囲んで入力します。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストから[Use this Component] (このコンポーネントを使う)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストから[Internal] (内部)を選択した場合にのみ利用できます。

[Authentication Type] (認証タイプ)

認証タイプを設定します。
  • [Basic] (基本): キーペア認証が有効でない場合は、このオプションを選択します。
  • [Key Pair] (キーペア): キーペア認証が有効な場合は、このオプションを選択します。キーペア認証の詳細は、キーペア認証を使うを参照してください。
  • OAuth 2.0: データアクセスに外部OAuthを使う場合は、このオプションを選択します。関連情報は、外部OAuthの概要を参照してください。
注: [Key Pair] (キーペア)オプションを選択する前に、tSetKeystoreコンポーネントの[Basic settings] (基本設定)ビューでキーペア認証データが次のように設定済みであることを確認します。
  • [TrustStore type] (TrustStoreタイプ)フィールドをそのままにしておきます。
  • [TrustStore file] (TrustStoreファイル)""に設定します。
  • [TrustStore password] (TrustStoreパスワード)フィールドをクリアします。
  • [Need Client authentication] (クライアント認証が必要)を選択します。
  • キーストアファイルへのパスを二重引用符で囲んで[KeyStore file] (KeyStoreファイル)フィールドに入力します(または[KeyStore file] (KeyStoreファイル)フィールドの右側にある[…]ボタンをクリックして、キーストアファイルに移動します)。
  • キーストアファイルのパスワードを[KeyStore password] (KeyStoreパスワード)フィールドに入力します。
  • [Check server identity] (サーバーIDのチェック)オプションをクリアします。
注: OAuth 2.0オプションは、Talendが提供するR2020-06以降のStudio月次アップデートをインストールした場合のみ利用できます。詳細は管理者にお問い合わせください。

[OAuth token endpoint] (OAuthトークンエンドポイント)

OAuth 2.0トークンエンドポイントを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストでOAuth 2.0が選択されている場合に利用できます。

[Client ID] (クライアントID)

アプリケーションのクライアントIDを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストでOAuth 2.0が選択されている場合に利用できます。

[Client Secret] (クライアントシークレット)

アプリケーションのクライアントシークレットを入力します。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストでOAuth 2.0が選択されている場合に利用できます。

[Grant type] (付与タイプ)

アクセストークン取得のために付与タイプを設定します。クライアント認証情報パスワードという2つのオプションがあります。

関連情報については、クライアント認証情報リソース所有者のパスワード認証情報を参照してください。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストでOAuth 2.0が選択されている場合に利用できます。

注: このオプションは、Talendが提供するR2020-10以降のStudio月次アップデートをインストールした場合のみ利用できます。詳細は管理者にお問い合わせください。

[OAuth username] (OAuthユーザー名)

OAuthユーザー名を入力します。

このオプションは、[Grant type] (付与タイプ)ドロップダウンリストで[Password] (パスワード)が選択されている場合に利用できます。

[OAuth password] (OAuthパスワード)

OAuthパスワードを入力します。

パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力した後、[OK]クリックして設定を保存します。

このオプションは、[Grant type] (付与タイプ)ドロップダウンリストで[Password] (パスワード)が選択されている場合に利用できます。

注: OAuthパスワードではスペースがサポートされていません。

Scope (スコープ)

スコープを入力します。関連情報はスコープを参照してください。

このオプションは、[Authentication Type] (認証タイプ)ドロップダウンリストでOAuth 2.0が選択されている場合に利用できます。

[User Id] (ユーザーID)[Password] (パスワード)

Snowflakeにログインするための認証情報を二重引用符で囲んで入力します。

  • [User ID]フィールドに、SnowflakeのLOGIN_NAMEパラメーターを使って、Snowflakeで定義されているログイン名を二重引用符で囲んで入力します。詳細は、Snowflakeシステムの管理者にお問い合わせください。

  • パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストから[Use this Component] (このコンポーネントを使う)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストから[Internal] (内部)を選択した場合にのみ利用できます。

[Warehouse] (ウェアハウス)

使用するSnowflakeウェアハウスの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストから[Use this Component] (このコンポーネントを使う)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストから[Internal] (内部)を選択した場合にのみ利用できます。

[Schema] (スキーマ)

使用するデータベーススキーマの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストから[Use this Component] (このコンポーネントを使う)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストから[Internal] (内部)を選択した場合にのみ利用できます。

[Database] (データベース)

使用するSnowflakeデータベースの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストから[Use this Component] (このコンポーネントを使う)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストから[Internal] (内部)を選択した場合にのみ利用できます。

Schema (スキーマ)およびEdit schema (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

[Built-in] (組み込み): そのコンポーネントのみのスキーマを作成して、ローカルに保存します。

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

処理するSnowflake データタイプがVARIANT(変数)、OBJECT(オブジェクト)、またはARRAY(アレイ)の場合は、コンポーネントでスキーマを定義する際にスキーマエディターウィザードの[Type] (タイプ)カラムの対応するデータで[String] (文字列)を選択します。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを使用できます。

  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続を更新): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

null不可能なプリミティブフィールドの入力値がnullの場合、そのフィールドを含むデータ行は拒否されることにご注意ください。

このコンポーネントはダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、『 Talend Studio ユーザーガイド』を参照してください。

このダイナミックスキーマ機能は、テーブルの不明なカラムを取得する目的で設計されており、この目的に限り使用をお勧めします。テーブルの作成で使用することは勧められていません。

ストレージ データのアップロード先となるストレージのタイプを選択します。
  • [Internal] (内部): データを内部Snowflakeストレージ内のフォルダーに保管します。また、[Stage Folder] (ストレージフォルダー)内の二重引用符で囲まれたフォルダーを指定する必要があります。
  • S3: データをAmazon S3フォルダーに保管します。また、[Region] (リージョン)[Access Key] (アクセスキー) (二重引用符内)、[Secret Key] (シークレットキー)[Bucket] (バケット) (二重引用符内)、[Folder] (フォルダー) (二重引用符内)を含め、S3ユーザーアカウントに関する情報も入力が必要です。
  • Azure: データをAzureフォルダーに保管します。また、[Protocol] (プロトコル)[Account Name] (アカウント名) (二重引用符内)、[Container] (コンテナー) (二重引用符内)、[Folder] (フォルダー) (二重引用符内)、[SAS Token] (SASトークン)を含め、Azureユーザーアカウントに関する情報も入力が必要です。
ステージフォルダー データを保管するSnowflakeステージフォルダーを指定します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Internal] (内部)を選択した場合にのみ利用できます。

Region S3バケットが存在するリージョンを指定します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[S3]を選択した場合にのみ利用できます。

[Access Key] (アクセスキー)および[Secret Key] (シークレットキー) 使用するAmazon S3バケットへの接続に必要な認証情報を入力します。

パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[S3]を選択した場合にのみ利用できます。

Bucket (バケット) データの保管に使うバケットの名前を入力します(二重引用符内)。既存のバケットを用意しておく必要があります。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[S3]を選択した場合にのみ利用できます。

フォルダー データを保管するフォルダーの名前を入力します(二重引用符内)。このフォルダーは、ランタイムに存在しない場合は作成されます。

このプロパティは、[Storage] (ストレージ)ドロップダウンリストでS3またはAzureが選択されている場合にのみ利用できます。

[Server-Side Encryption] (サーバー側の暗号化) サーバー側のS3バケットにアップロードするファイルを暗号化するには、このチェックボックスをオンにします。このチェックボックスは、デフォルトでオンになっています。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[S3]を選択した場合にのみ利用できます。

[Protocol] (プロトコル) Azure接続の作成に使うプロトコルを選択します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Azure]を選択した場合にのみ利用できます。

Account Name (アカウント名) Azureストレージのアカウント名を入力します(二重引用符内)。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Azure]を選択した場合にのみ利用できます。

[Container] (コンテナー)[Folder] (フォルダー) データの保管に使うAzureコンテナーとフォルダーの名前を入力します(二重引用符内)。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Azure]を選択した場合にのみ利用できます。

SASトークン ストレージアカウント内のオブジェクトに対する制限付きアクセスを付与するSASトークンを指定します。

SASトークンを入力するには、SASトークンフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Azure]を選択した場合にのみ利用できます。

詳細設定

[Additional JDBC Parameters] (追加のJDBCパラメーター)

作成するデータベース接続に追加の接続プロパティを指定します。プロパティはセミコロンで区切られ、各プロパティはキー/値ペアです。たとえば、encryption=1;clientname=Talendになります。

このフィールドは、[Connection Component] (接続コンポーネント)ドロップダウンリストから[Use this Component] (このコンポーネントを使う)を選択し、[Basic settings] (基本設定)ビューの[Storage] (ストレージ)ドロップダウンリストから[Internal] (内部)を選択した場合にのみ利用できます。

[Login Timeout] (ログインタイムアウト)

Snowflakeのログイン試行のタイムアウト期間を分単位で指定します。この期間内にレスポンスが返されないと、エラーが生成されます。

ロール

Snowflakeセッションを開始するために使用するデフォルトアクセス制御ロールを、二重引用符で囲んで入力します。

このロールは既に存在していて、Snowflakeへの接続に使用するユーザーIDに付与されている必要があります。このフィールドを空のままにしておくと、PUBLICロールが自動的に付与されます。Snowflakeのアクセス制御モデルについては、アクセス制御モデルの理解を参照してください。

[Region ID (Deprecated)] (リージョンID (非推奨))

たとえば、eu-west-1またはeast-us-2.azureのように、リージョンIDを二重引用符で囲んで入力します。SnowflakeリージョンIDの詳細は、Supported Cloud Regionsを参照してください。

tSnowflakeConnection以外のSnowflakeコンポーネントの場合、このフィールドは[Basic settings] (基本設定)ビューで[Connection Component] (接続コンポーネント)ドロップダウンリストから[Use This Component] (このコンポーネントを使う)を選択した場合に利用できます。

注: このフィールドは、TalendのR2021-04以降のStudio月次アップデートをインストールした時のみ利用できます。詳細は管理者にお問い合わせください。

カスタムステージパスの使用

ステージの下のフォルダー内に生成されたファイルにデータをアップロードするには、このチェックボックスをオンにします。表示されたフィールドにフォルダーへのパスを入力することも必要です。たとえば、ステージ下のmyfolder1/myfolder2内に生成されたファイルにデータをアップロードするには、フィールドに"@~/myfolder1/myfolder2"と入力する必要があります。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Internal] (内部)を選択した場合にのみ利用できます。

選択すると、[Basic settings] (基本設定)ビュー内の[Stage Folder] (ステージフォルダー)は利用できなくなります。
Putコマンドオプション ドロップダウンリストから以下のオプションを選択し、PUTコマンドのパラメーターを設定します。PUTコマンドはSnowflakeによって提供されます。データがSnowflake stageフォルダーにアップロードされます。
  • [Default] (デフォルト): 右側のフレームにリスト表示されているデフォルト設定を使ってPUT操作を実行します。
  • [Table] (テーブル): [Options] (オプション)テーブルを使ってPUT操作パラメーターを設定します。パラメーターを設定するには、[+]ボタンをクリックし、[Option] (オプション)カラムからパラメーターを選択し、[Value] (値)カラムにパラメーター値を設定します。
  • [Manual] (手動): 右側のテキストフレームにPUT操作パラメーターを手動で設定します。
PUTコマンドのパラメーターについては、「the PUT command」を参照してください。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Internal] (内部)を選択した場合にのみ利用できます。

Putコマンドエラー再試行

内部Snowflakeストレージへのデータのロードにエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Internal] (内部)を選択した場合にのみ利用できます。

S3エラー再試行最大回数

S3フォルダーとの間でデータの送受信中にエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[S3]を選択した場合にのみ利用できます。

Azureエラー再試行最大回数

Azureフォルダーとの間でデータの送受信中にエラーが発生した場合のデータロード再試行最大回数を指定します。このパラメーターのデフォルトは3です。-1の値は可能な再試行最大回数を指定します。-1または正の整数のみが認められます。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[Azure]を選択した場合にのみ利用できます。

カスタムS3接続設定の使用 カスタムS3設定を使う場合は、このチェックボックスをオンにします。

[Option] (オプション): リストからパラメーターを選択します。

[Value] (値): パラメーター値を入力します。

このフィールドは、[Basic settings] (基本設定)ビューで[Storage] (ストレージ)ドロップダウンリストから[S3]を選択した場合にのみ利用できます。

空でないストレージフォルダーアクション データのアップロード用に指定したストレージフォルダーが空でない場合に実行されるアクションを指定します。
  • [Add New Files] (新しいファイルの追加): ジョブの処理を続行し、新しいファイルをフォルダーに追加します。
  • [Cancel Upload] (アップロードのキャンセル): 操作を停止します。
  • [Replace Existing Files] (既存のファイルを置換): 新しいファイルを追加する前にストレージフォルダーをクリアします。
チャンクサイズ(バイト) 生成されるファイルのサイズを指定します。デフォルトは52428800バイトです。

このオプションを指定すると、受信データが複数のファイルに保管される場合があります。データはレコードベースでファイル内に保管されるため、生成される各ファイルの実際のサイズは指定した値よりも大きかったり小さかったりする場合がありますが、ファイル内に前回保管されたレコードのサイズを上回ることはありません。

このオプションはパフォーマンスに大幅な影響を与える場合があります。したがって、設定は慎重に行ってください。関連情報は、「File Sizing Best Practices and Limitations」を参照してください。
カスタムローカルフォルダーの使用 生成されたファイルを保持する一時フォルダーにローカルフォルダーを指定します。このオプションを選択すると、受信データを保管するファイルが指定のローカルフォルダー内に生成され、次にすべての受信データがアップロードされた後に指定のストレージに移動されます。
ファイルリクエストスレッドの数 データをファイルに書き込む時にPutリクエストを並行して送信するために使用されるスレッドの数を指定します。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

[Global Variables] (グローバル変数)

NB_LINE

処理された行数。これはAfter変数で、整数を返します。

NB_SUCCESS

正しく処理された行数。これはAfter変数で、整数を返します。

NB_REJECT

却下された行数。これはAfter変数で、整数を返します。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

使用方法

使用ルール

このコンポーネントは、ジョブ内のデータフローの終了コンポーネントです。このコンポーネントは、[Row] (行) > [Main] (メイン)リンクを介して他のコンポーネントからデータを受け取ります。