tAzureAdlsGen2Input標準プロパティ - Cloud - 8.0

Azure Data Lake Store

Version
Cloud
8.0
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Azure > Azure Data Lake Storeコンポーネント
データガバナンス > サードパーティーシステム > クラウドストレージ > Azure > Azure Data Lake Storeコンポーネント
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Azure > Azure Data Lake Storeコンポーネント

このプロパティはStandardジョブフレームワークで実行されているtAzureAdlsGen2Inputを設定するために使います。

[Standard] (標準) tAzureAdlsGen2Inputコンポーネントは、Cloudファミリーに属しています。

このフレームワークのコンポーネントは、すべてのサブスクリプションベースのTalend製品で使用できます。

基本設定

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

  • [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続プロパティの値を手動で指定する必要があります。

  • [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。このチェックボックスのとなりにある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーの内容)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

[Schema] (スキーマ)および[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

  • [Built-in] (組み込み): そのコンポーネントのみのスキーマを作成して、ローカルに保存します。

  • [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。
注: 変更を加えると、スキーマは自動的に組み込みになります。
  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続を更新): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Guess schema] (スキーマの推測)

指定したデータオブジェクトからスキーマを取得するには、このボタンをクリックします。

認証方式

ドロップダウンリストから次の認証メソッドの1つを選択します。

  • [Shared key] (共有キー)アカウントアクセスキーが必要です。関連情報は、Manage a storage accountを参照してください。
  • [Shared Access Signatures] (共有アクセス署名): 共有アクセス署名が必要です。詳細は、Constructing the Account SAS URIを参照してください。
  • Azure Active Directory: 接続を確立する時にAzure Active Directory認証を使うには、このオプションを選択します。関連情報は、Azure AD認証を参照してください。

[Account name] (アカウント名)

アクセスする必要のあるData Lake Storageアカウントの名前を入力します。このアカウントへの適切なアクセス権をシステム管理者から得ていることを確認します。

[Endpoint suffix] (エンドポイントサフィックス)

Azureストレージのサービスエンドポイントを入力します。

アカウント名とAzureストレージサービスエンドポイントの組み合わせにより、ストレージアカウントのエンドポイントが形成されます。

[Shared key] (共有キー)

アクセスする必要のあるストレージアカウントに関連付けられたキーを入力します。どのアカウントにも使用できるキーが2つあり、デフォルトでは、どちらもこのアクセスに使用できます。キーの取得方法については、「Manage a storage account」(ストレージアカウントの管理)をお読みください。

このフィールドは、[Authentication method] (認証方法)ドロップダウンリストから[Shared key] (共有キー)を選択した場合に使用できます。

[SAS token] (SASトークン)

自分のアカウントのSASトークンを入力します。SASが生成された後は、Microsoft Azureポータルで許可されている各サービスのSASトークンを取得できます。SASトークンの形式はhttps://<$storagename><$service>.core.windows.net/<$sastoken>となります。<$storagename>はストレージアカウント名、<$service>は許可されているサービスの名前(Blob、file、queue、またはtable)、<$sastoken>はSASトークンの値です。詳細は、「Constructing the Account SAS URI」(Account SAS URIの構築)をお読みください。

このフィールドは、[Authentication method] (認証方法)ドロップダウンリストから [Shared access signature] (共有アクセス署名)を選択した場合に使用できます。

[Check connection] (接続を確認)

このボタンをクリックして、提供された接続パラメーターを検証します。

[Check connection] (ファイルシステム)

ターゲットBlobコンテナーの名前を入力します。

このフィールドの右側にある[...]ボタンをクリックして、ダイアログボックスのリストから目的のBlobコンテナーを選択することもできます。

[Blobs Path] (ブロブパス)

ターゲットBLOBへのパスを入力します。

[Format] (形式)

受信データの形式を設定します。現在サポートされている形式はCSVAVROJSONParquetDeltaです。

[Field Delimiter] (フィールド区切り記号)

フィールド区切り記号を指定ドロップダウンリストから、 [Semicolon] (セミコロン)[Comma] (カンマ)[Tabulation] (集計)、および[Space] (スペース)を選択できます。 [Other] (その他)を選択して、[Custom field delimiter] (カスタムフィールド区切り記号)cxvフィールドに独自の項目を入力することもできます。

[Record Separator] (レコード区切り記号)

レコード区切り記号を設定します。ドロップダウンリストからLFCR、およびCRLFを選択できます。[Other] (その他)を選択して、[Custom Record Separator] (カスタムのレコード区切り記号)フィールドに独自の文字を入力することもできます。

[Text Enclosure Character] (テキストエンクロージャー文字)

テキストを囲むために使用される文字を入力します。

[Escape character] (エスケープ文字)

エスケープする行の文字を入力します。

[Header] (ヘッダー)

取得したデータにヘッダー行を挿入するには、このチェックボックスをオンにします。

注:
  • 取得するデータにヘッダー行がある場合は、このオプションを選択します。この場合、スキーマのカラム名がデータのカラムヘッダーと一致していることも確認する必要があります。
  • 取得するデータにヘッダー行がない場合は、このオプションをクリアします。この場合、スキーマのカラムにfield0field1field2などの名前を付ける必要があります。

[File Encoding] (ファイルエンコーディング)

ドロップダウンリストからファイルエンコーディングを選択します。]

詳細設定

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

NB_LINE

正しく処理された行数。これはAfter変数で、整数を返します。

使用方法

使用ルール

このコンポーネントは通常、ジョブまたはサブジョブの開始コンポーネントとして使い、常に出力リンクが必要です。