Apache Spark BatchのtSnowflakeOutputプロパティ(テクニカルプレビュー) - 7.3

Snowflake

EnrichVersion
Cloud
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
EnrichPlatform
Talend Studio
task
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Snowflake
データガバナンス > サードパーティーシステム > クラウドストレージ > Snowflake
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Snowflake

このプロパティは[Spark Batc] (スパークバッチ)ジョブフレームワークで実行されているtSnowflakeOutputを設定するために使います。

[Spark Batch] (スパークバッチ) tSnowflakeOutputコンポーネントは、データベースファミリーのコンポーネントです。

このフレームワーク内のコンポーネントは、ビッグデータ対応のサブスクリプションTalend 製品すべて、およびTalend Data Fabricで使用できます。

基本設定

[Use an existing configuration] (既存の設定を使用)

定義済みの接続の詳細を再利用するには、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)で該当する接続コンポーネントをクリックします。

[Account] (アカウント)

[Account] (アカウント)フィールドに、Snowflakeによって割り当てられたアカウント名を二重引用符で囲んで入力します。

Snowflakeリージョン

[Snowflake Region] (Snowflakeリージョン)ドロップダウンリストから、AWSリージョンまたはAzureリージョンを選択します。

認証方式

認証方式を設定します。

  • [Key Pair] (キーペア): キーペア認証が有効な場合は、このオプションを選択します。キーペア認証の詳細は、Using Key Pair Authenticationを参照してください。
注: [Key Pair] (キーペア)オプションを選択する前に、tSetKeystoreコンポーネントの[Basic settings] (基本設定)ビューでキーペア認証データが次のように設定済みであることを確認します。
  • [TrustStore type] (TrustStoreタイプ)フィールドをそのままにしておきます。
  • [TrustStore file] (TrustStoreファイル)""に設定します。
  • [TrustStore password] (TrustStoreパスワード)フィールドをクリアします。
  • [Need Client authentication] (クライアント認証が必要)を選択します。
  • キーストアファイルへのパスを二重引用符で囲んで[KeyStore file] (KeyStoreファイル)フィールドに入力します(または[KeyStore file] (KeyStoreファイル)フィールドの右側にある[…]ボタンをクリックして、キーストアファイルに移動します)。
  • キーストアファイルのパスワードを[KeyStore password] (KeyStoreパスワード)フィールドに入力します。
  • [Check server identity] (サーバーIDのチェック)オプションをクリアします。
注: [Key Pair] (キーペア)オプションは、ローカルSparkモードでSpark v2.4以降を使用している場合、EMR 5.29およびCDH 6.1ディストリビューションでのみ利用できます。

[User Id] (ユーザーID)[Password] (パスワード)

Snowflakeにログインするための認証情報を二重引用符で囲んで入力します。

  • [User ID]フィールドに、SnowflakeのLOGIN_NAMEパラメーターを使って、Snowflakeで定義されているログイン名を二重引用符で囲んで入力します。詳細は、Snowflakeシステムの管理者にお問い合わせください。

  • パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

[Warehouse] (ウェアハウス)

使用するSnowflakeウェアハウスの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

[Schema] (スキーマ)

使用するデータベーススキーマの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

[Database] (データベース)

使用するSnowflakeデータベースの名前を二重引用符で囲んで入力します。この名前では大文字と小文字が区別され、Snowflakeでは通常は大文字です。

[Table] (テーブル)

[...]ボタンをクリックし、表示されるウィザードで、使用するSnowflakeテーブルを選択します。

Schema (スキーマ)およびEdit schema (スキーマの編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

[Built-in] (組み込み): そのコンポーネントのみのスキーマを作成して、ローカルに保存します。

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

処理するSnowflake データタイプがVARIANT(変数)、OBJECT(オブジェクト)、またはARRAY(アレイ)の場合は、コンポーネントでスキーマを定義する際にスキーマエディターウィザードの[Type] (タイプ)カラムの対応するデータで[String] (文字列)を選択します。

スキーマを変更するには[Edit schema] (スキーマの編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを使用できます。

  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続を更新): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

null不可能なプリミティブフィールドの入力値がnullの場合、そのフィールドを含むデータ行は拒否されることに注意してください。

[Output Action] (出力のアクション)

[Insert] (挿入)アクションのみがSparkのSnowflakeでサポートされています。
[Connection properties] (接続プロパティ)

対応するカラムに、接続プロパティと関連する値を二重引用符で囲んで入力します。Snowflakeの公式ドキュメントから、Setting Configuration Options for the Connectorで使用可能なプロパティを見つけることができます。

使用方法

[Usage rule] (使用ルール)

このコンポーネントは終了コンポーネントとして使用され、入力リンクを必要とします。

tSnowFlakeConfigurationを使う: Snowflakeに接続するには、同じジョブ内のコンポーネントを更新します。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark Configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリを指定する必要があります。
  • Yarnモード(YarnクライアントまたはYarnクラスター):
    • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

    • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

    • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
    • Quboleを使用する場合は、ジョブにtS3Configurationを追加し、QuboleでS3システム内に実際のビジネスデータを書き込みます。tS3Configurationを使用しないと、このビジネスデータはQubole HDFSシステムに書き込まれ、クラスターをシャットダウンすると破棄されます。
    • オンプレミスのディストリビューションを使用する場合は、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、bix1550477842760.htmlを使用します。

  • [Standalone mode] (スタンドアロンモード): bix1550477842760.htmlまたはtS3Configurationなど、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。

    ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。