tAzureStorageListの標準プロパティ - Cloud - 8.0

Azure Storage Blob

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Azure > Azure Storage Blobコンポーネント
データガバナンス > サードパーティーシステム > クラウドストレージ > Azure > Azure Storage Blobコンポーネント
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Azure > Azure Storage Blobコンポーネント

このプロパティはStandardジョブフレームワークで実行されているtAzureStorageListを設定するために使います。

標準tAzureStorageListコンポーネントは、Cloudファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのTalend製品で利用できます。

基本設定

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

  • [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続のプロパティ値を手動で指定する必要があります。

  • [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。

    このチェックボックスのとなりにある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーの内容)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

[Connection Component] (接続コンポーネント)ドロップダウンリストから他の接続コンポーネントを選択した場合、このプロパティは利用できません。

[Connection Component] (接続コンポーネント)

ドロップダウンリストで、Azure Storageへの接続を設定するために接続の詳細を使用するコンポーネントを選択します。

[Account Name] (アカウント名)

アクセスする必要のあるストレージアカウントの名前を入力します。ストレージアカウント名は、使用するMicrosoft Azure Storageシステムのストレージアカウントダッシュボード内にあります。このストレージアカウントへの適切なアクセス権をシステム管理者から得ていることを確認します。

[Authentication type] (認証タイプ)

Microsoft Azure Blobストレージに接続するための認証タイプを設定するために使われます。[Basic] (基本)およびAzure Active Directoryという2つのオプションが提供されます。

[Account key] (アカウントキー)

アクセスする必要のあるストレージアカウントに関連付けられたキーを入力します。どのアカウントでも利用できるキーが2つあり、このアクセスにはデフォルトでどちらのキーも使用できます。ドロップダウンリストで、Azure Storageへの接続を設定するために接続の詳細を使用するコンポーネントを選択します。

このオプションは、[Authentication type] (認証タイプ)ドロップダウンリストで[Basic] (基本)を選択した場合に利用できます。

[Protocol] (プロトコル)

作成する接続のプロトコルを選択します。

このオプションは、[Authentication type] (認証タイプ)ドロップダウンリストで[Basic] (基本)を選択した場合に利用できます。

Use Azure Shared Access Signature

アカウントキーを使用せずにストレージリソースにアクセスする場合は、このチェックボックスをオンにしてShared Access Signature (SAS)を使用します。詳細は、Using Shared Access Signatures (SAS)をご覧ください。

表示される[Azure Shared Access Signature]フィールドに、アカウントのSAS URLを二重引用符で囲んで入力します。SASの生成後に、Microsoft Azureポータルで許可されている各サービスのSAS URLが取得できます。SAS URLの形式はhttps://<$storagename><$service>.core.windows.net/<$sastoken>となります。<$storagename>はストレージアカウント名、<$service>は許可されているサービスの名前(Blobfilequeuetableのいずれか)、<$sastoken>はSASトークンの値です。詳細は、Constructing the Account SAS URIをご覧ください。

SASの期間が有効であることをご確認ください。SASが有効となる開始時刻と無効となる有効期限を生成時に設定できます。また、ジョブの実行時にSASがまだ有効であることを確認する必要があります。

このオプションは、[Authentication type] (認証タイプ)ドロップダウンリストで[Basic] (基本)を選択した場合に利用できます。

[Tenant ID] (テナントID)

Azure ADテナントのIDを入力します。関連情報は、Acquire a token from Azure AD for authorizing requests from a client applicationをご覧ください。

このオプションは、[Authentication method] (認証方式)ドロップダウンリストでAzure Active Directoryを選択した場合に利用できます。

[Client ID] (クライアントID)

アプリケーションのクライアントIDを入力します。関連情報は、Acquire a token from Azure AD for authorizing requests from a client applicationをご覧ください。

このオプションは、[Authentication method] (認証方式)ドロップダウンリストでAzure Active Directoryを選択した場合に利用できます。

[Client Secret] (クライアントシークレット)

アプリケーションのクライアントシークレットを入力します。関連情報は、Acquire a token from Azure AD for authorizing requests from a client applicationをご覧ください。

このオプションは、[Authentication method] (認証方式)ドロップダウンリストでAzure Active Directoryを選択した場合に利用できます。

[Container name] (コンテナー名)

リスト表示するblobを選択する必要があるコンテナーの名前を入力します。

Blobフィルター

このテーブルに入力してリスト表示するblobを選択します。提供されるパラメーターは次のとおりです。

  • [Prefix] (プレフィックス): リスト表示する必要があるblobの名前の共通プレフィックスを入力します。このプレフィックスを使用すると、指定されたコンテナーで名前に指定したプレフィックスを持つblobをフィルタリングできます。

    Blob名には、Blob自体の仮想階層が含まれています。この階層はそのBlobへの仮想パスであり、そのBlobが保存されているコンテナーに関連しています。たとえば、photosという名前のコンテナーでは、写真Blobの名前は2014/US/Oakland/Talend.jpgのようになります。

    このため、プレフィックスを定義すると、実際にはBlobフィルターとしてディレクトリーレベルを指定していることになります。たとえば、2014/または2014/US/などです。

    コンテナーレベルの直下に保存されているBlob(名前の中に仮想パスがないBlob)を選択する場合は、引用符を削除してnullと入力します。

  • [Include sub-directories] (サブディレクトリーを含める): このチェックボックスをオンにすると、指定されたディレクトリーレベルの下にあるこれらのフォルダー内のすべてのサブフォルダーとBlobが選択されます。このチェックボックスをオフのままにしておくと、tAzureStorageListはそのディレクトリーレベルの直下のBlob (もしあれば)だけを返します。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

  • [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

  • [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

このコンポーネントのスキーマは、文字列型の単一のカラムBlobNameで事前定義されています。これは、リスト表示する各blobの名前を示します。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

    変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Die on error] (エラー発生時に強制終了)

このチェックボックスをオンにすると、エラー発生時にジョブの実行が停止されます。

エラーの発生した行をスキップし、エラーが発生していない行の処理を完了するには、このチェックボックスをオフにします。エラーをスキップしたら、[Row] (行)> [Reject] (リジェクト)リンクを使用してエラーの発生した行を収集できます。

詳細設定

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

CONTAINER

Blobコンテナーの名前。これはAfter変数で、文字列を返します。

CURRENT_BLOB

このコンポーネントによって処理されるBlob名。これはAfter変数で、文字列を返します。

NB_LINE

処理された行数。これはAfter変数で、整数を返します。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

使用方法

使用ルール

このコンポーネントはジョブやサブジョブのスタンドアロンコンポーネントとして使用できます。

前提条件

Microsoft Azure Storageに関する知識が必要です。