tAzureStorageOutputTableの標準プロパティ - 7.2

Azure Storage Table

Version
7.2
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Azure > Azure Storage Tableコンポーネント
データガバナンス > サードパーティーシステム > クラウドストレージ > Azure > Azure Storage Tableコンポーネント
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Azure > Azure Storage Tableコンポーネント

このプロパティはStandardジョブフレームワークで実行されているtAzureStorageOutputTableを設定するために使います。

[Standard] (標準) tAzureStorageOutputTableコンポーネントは、Cloudファミリーに属しています。

このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで利用できます。

基本設定

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

  • [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続のプロパティ値を手動で指定する必要があります。

  • [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。このチェックボックスのとなりにある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーの内容)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

[Connection Component] (接続コンポーネント)ドロップダウンリストから他の接続コンポーネントを選択した場合、このプロパティは利用できません。

[Connection Component] (接続コンポーネント)

ドロップダウンリストで、Azure Storageへの接続を設定するために接続の詳細を使用するコンポーネントを選択します。

アカウント名

アクセスする必要のあるストレージアカウントの名前を入力します。ストレージアカウント名は、使用するMicrosoft Azure Storageシステムのストレージアカウントダッシュボード内にあります。このストレージアカウントへの適切なアクセス権をシステム管理者から得ていることを確認します。

[Account key] (アカウントキー)

アクセスする必要のあるストレージアカウントに関連付けられたキーを入力します。どのアカウントにも使用できるキーが2つあり、デフォルトでは、どちらもこのアクセスに使用できます。

[Protocol] (プロトコル)

作成する接続のプロトコルを選択します。

Use Azure Shared Access Signature

アカウントキーを使用せずにストレージリソースにアクセスするには、このチェックボックスをオンにしてShared Access Signature (SAS)を使用します。詳細は、Using Shared Access Signatures (SAS)をご覧ください。

表示される[Azure Shared Access Signature]フィールドに、アカウントのSAS URLを二重引用符で囲んで入力します。SASの生成後に、Microsoft Azureポータルで許可されている各サービスのSAS URLが取得できます。SAS URLの形式はhttps://<$storagename><$service>.core.windows.net/<$sastoken>となります。<$storagename>はストレージアカウント名、<$service>は許可されているサービスの名前(Blobfilequeuetableのいずれか)、<$sastoken>はSASトークンの値です。詳細は、Constructing the Account SAS URIをご覧ください。

SASの期間が有効であることをご確認ください。SASが有効となる開始時刻と無効となる有効期限を生成時に設定できます。また、ジョブの実行時にSASがまだ有効であることを確認する必要があります。

[Table name] (テーブル名)

エンティティが書き込まれるテーブルの名前を指定します。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

  • [Built-in] (組み込み): そのコンポーネントのみのスキーマを作成して、ローカルに保存します。

  • [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続を更新): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

パーティションキー

ドロップダウンリストからパーティションキー値を保持するスキーマカラムを選択します。

行キー

ドロップダウンリストから行キー値を保持するスキーマカラムを選択します。

[Action on data] (データでのアクション)

定義されたテーブルのデータに対して実行する操作を選択します。

  • [Insert] (挿入): 新しいエンティティをテーブルに挿入します。
  • [Insert or replace] (挿入または置換): 既存のエンティティを置き換えるか、存在しない場合は新しいエンティティを挿入します。エンティティを置き換える時、新しいエンティティで定義されていない場合、以前のエンティティのプロパティは削除されます。
  • [Insert or merge] (挿入またはマージ): 既存のエンティティをマージするか、存在しない場合は新しいエンティティを挿入します。エンティティをマージする時、新しいエンティティで定義されていないか、またはそこに含まれていない場合、以前のエンティティのプロパティは保持されます。
  • [Merge] (マージ): 新しいエンティティで値が定義されていない場合、前のエンティティのプロパティ値を削除せずに既存のエンティティを更新します。
  • [Replace] (置換): 新しいエンティティで値が定義されていない場合、既存のエンティティを更新し、前のエンティティのプロパティ値を削除します。
  • [Delete] (削除): 既存のエンティティを削除します。

パフォーマンス上の理由から、受信データは並列かつランダムな順序で処理されます。したがって、データに重複した行がある場合、順序に依存するデータ操作(挿入や置換など)を実行することはお勧めしません。

テーブルでのアクション

定義されたテーブルに対して実行する操作を選択します。

  • [Default] (デフォルト): 操作は行われません。

  • [Drop and create table] (テーブルの削除と作成): テーブルが削除され、再作成されます。

  • [Create table] (テーブルの作成): テーブルが存在しないため、作成します。

  • [Create table if not exists] (存在しない場合はテーブルを作成): テーブルが存在しない場合は作成されます。

  • [Drop table if exist and create] (存在する場合はテーブルを削除して作成): テーブルが既に存在する場合は削除されて、再作成されます。

[Process in batch] (バッチ処理)

入力エンティティをバッチ処理するには、このチェックボックスをオンにします。

バッチ処理されるエンティティは同じパーティショングループに属している必要があります。つまり、エンティティは同じパーティションキー値を持つ必要があります。

[Die on error] (エラー発生時に強制終了)

このチェックボックスをオンにすると、エラー発生時にジョブの実行が停止されます。

詳細設定

名前のマッピング

コンポーネントスキーマのカラム名をAzureテーブルエンティティのプロパティ名にマップするには、このテーブルに入力します(両者が異なる場合)。

  • [Schema column name] (スキーマカラム名): コンポーネントスキーマのカラム名を二重引用符で囲んで入力します。
  • [Entity property name] (エンティティプロパティ名): Azureテーブルエンティティのプロパティ名を二重引用符で囲んで入力します。

たとえば、3つのスキーマカラムCompanyIDEmployeeID、およびEmployeeNameがあり、それぞれPartitionKeyRowKey、およびNameエンティティプロパティの値をフィードするために使われる場合、データをAzureテーブルに書き込む時に、次の行をマッピングに追加する必要があります。

  • "CompanyID"を持つ[Schema column name] (スキーマカラム名)セルと、値"PartitionKey"を持つ[Entity property name] (エンティティのプロパティ名)セル。
  • "EmployeeID"を持つ[Schema column name] (スキーマカラム名)セルと、値"RowKey"を持つ[Entity property name] (エンティティのプロパティ名)セル。
  • "EmployeeName"を持つ[Schema column name] (スキーマカラム名)セルと、値"Name"を持つ[Entity property name] (エンティティのプロパティ名)セル。
[tStatCatcher Statistics] (tStatCatcher統計情報)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

NB_LINE

処理された行数。これはAfter変数で、整数を返します。

NB_SUCCESS

正しく処理された行数。これはAfter変数で、整数を返します。

NB_REJECT

リジェクトされた行数。これはAfter変数で、整数を返します。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

使用方法

[Usage rule] (使用ルール)

このコンポーネントは通常、ジョブまたはサブジョブの終了コンポーネントとして使い、常に入力リンクが必要です。