tAzureAdlsGen2Inputの標準プロパティ - Cloud - 8.0

Azure Data Lake Storage Gen2

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Azure > Azure Data Lake Storage Gen2コンポーネント
データガバナンス > サードパーティーシステム > クラウドストレージ > Azure > Azure Data Lake Storage Gen2コンポーネント
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Azure > Azure Data Lake Storage Gen2コンポーネント
Last publication date
2024-02-28

これらのプロパティは、標準ジョブのフレームワークで実行されているtAzureAdlsGen2Inputを設定するために使われます。

標準tAzureAdlsGen2Inputコンポーネントは、Cloudファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのサブスクリプションベースのTalend製品で使用できます。

基本設定

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

  • [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続のプロパティ値を手動で指定する必要があります。

  • [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。

    このチェックボックスの横にある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーのコンテンツ)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

[Use an existing connection] (既存の接続を使用)

定義済みの接続の詳細を再利用する場合は、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。

注: ジョブに親ジョブと子ジョブが含まれている時は、親ジョブと子ジョブの間の既存の接続を共有したい場合(たとえば、親ジョブで作成した接続を子ジョブと共有するなど)には、次のように実行します。
  1. 親レベルで、共有するデータベース接続を、そのデータベース接続そのものを作成する接続コンポーネントの[Basic settings] (基本設定)ビューに登録します。
  2. 子レベルで、登録済みのそのデータベース接続を読み取るために専用の接続コンポーネントを使用します。

ジョブレベル全体でデータベース接続を共有する方法の例は、データベース接続を共有をご覧ください。

注: このオプションは、Talendが提供するR2022-01以降のTalend Studioマンスリーアップデートをインストール済みである場合のみ利用できます。詳細は管理者にお問い合わせください。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

  • [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

  • [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。変更を加えると、スキーマは自動的に組み込みになります。

  • [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

    変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Guess Schema] (推測スキーマ)

指定したデータオブジェクトからスキーマを取得するには、このボタンをクリックします。

[Authentication method] (認証方式)

ドロップダウンリストから、次の認証方式を1つ選択します。

  • [Shared key] (共有キー)アカウントアクセスキーが必要です。関連情報は、Manage a storage accountをご覧ください。
  • [Shared Access Signatures] (共有アクセス署名): 共有アクセス署名が必要です。詳細は、Constructing the Account SAS URIをご覧ください。
  • Azure Active Directory: このオプションを選択すると、接続を確立する時にAzure Active Directory認証を使用できます。関連情報は、Azure AD Authenticationをご覧ください。

[Account name] (アカウント名)

アクセスする必要のあるData Lake Storageアカウントの名前を入力します。このアカウントへの適切なアクセス権をシステム管理者から得ていることを確認します。

[Endpoint suffix] (エンドポイントサフィックス)

Azure Storageのサービスエンドポイントを入力します。

アカウント名とAzure Storageサービスエンドポイントの組み合わせにより、ストレージアカウントのエンドポイントが形成されます。

[Shared key] (共有キー)

アクセスする必要のあるストレージアカウントに関連付けられたキーを入力します。どのアカウントでも利用できるキーが2つあり、このアクセスにはデフォルトでどちらのキーも使用できます。キーの取得方法は、Manage a storage accountをお読みください。

共有キーを入力するには、[Shared key] (共有キー)フィールドの横にある[...]ボタンをクリックし、[Enter a new password] (新しいパスワードを入力)ダイアログボックスを表示させ、テキストフィールドに共有キーを入力して[OK]をクリックします。共有キーは、[pure password] (純粋なパスワード)モードではJSON文字列で、[Java mode] (Javaモード)ではJava式として入力できます。テキストフィールドの上部にある[switch to Java mode] (Javaモードに切り替え)または[switch to pure password mode] (純粋なパスワードに切り替え)をクリックすることで、2つのモードの間で切り替えられます。
注:
  • この2つのパスワードモードは、Talendが提供する8.0.1 R2022-05以降のTalend Studioマンスリーアップデートをインストール済みである場合のみ利用できます。詳細は管理者にお問い合わせください。
  • Talendが提供する8.0.1 R2022-05以降のTalend Studioマンスリーアップデートがインストールされていない場合は、[Java mode] (Javaモード)でのみ共有キーを入力できます。

このフィールドは、[Authentication method] (認証方法)ドロップダウンリストから、[Shared key] (共有キー)を選択した場合に利用できます。

[SAS token] (SASトークン)

自分のアカウントのSASトークンを入力します。SASが生成された後は、Microsoft Azureポータルで許可されている各サービスのSASトークンを取得できます。SASトークンの形式はhttps://<$storagename><$service>.core.windows.net/<$sastoken>となります。<$storagename>はストレージアカウント名、<$service>は許可されているサービスの名前(Blob、file、queue、またはtable)、<$sastoken>はSASトークンの値です。詳細は、「Constructing the Account SAS URI」(Account SAS URIの構築)をお読みください。

このフィールドは、[Authentication method] (認証方法)ドロップダウンリストから、[Shared Access Signature] (共有アクセス署名)を選択した場合に利用できます。

[Tenant ID] (テナントID)

Azure ADテナントのIDを入力します。関連情報は、Acquire a token from Azure AD for authorizing requests from a client applicationをご覧ください。

このオプションは、[Authentication method] (認証方式)ドロップダウンリストから、Azure Active Directoryを選択した場合に利用できます。

[Client ID] (クライアントID)

アプリケーションのクライアントIDを入力します。関連情報は、Acquire a token from Azure AD for authorizing requests from a client applicationをご覧ください。

このオプションは、[Authentication method] (認証方式)ドロップダウンリストから、Azure Active Directoryを選択した場合に利用できます。

[Client Secret] (クライアントシークレット)

アプリケーションのクライアントシークレットを入力します。関連情報は、Acquire a token from Azure AD for authorizing requests from a client applicationをご覧ください。

クライアントシークレットを入力するには、[Client secret] (クライアントシークレット)フィールドの横にある[...]ボタンをクリックし、[Enter a new password] (新しいパスワードを入力)ダイアログボックスを表示させ、テキストフィールドにクライアントシークレットを入力して[OK]をクリックします。クライアントシークレットは、[pure password] (純粋なパスワード)モードではJSON文字列で、[Java mode] (Javaモード)ではJava式として入力できます。テキストフィールドの上部にある[switch to Java mode] (Javaモードに切り替え)または[switch to pure password mode] (純粋なパスワードに切り替え)をクリックすることで、2つのモードの間で切り替えられます。

このオプションは、[Authentication method] (認証方式)ドロップダウンリストから、Azure Active Directoryを選択した場合に利用できます。

[Check connection] (接続を確認)

このボタンをクリックすると、提供された接続パラメーターを検証できます。

[File system] (ファイルシステム)

ターゲットのBlobコンテナーの名前を入力します。

このフィールドの右にある[...]ボタンをクリックし、ダイアログボックスのリストから目的のBlobコンテナーを選択することもできます。

[Blobs path] (Blobパス)

ターゲットBlobへのパスを入力します。

[Format] (形式)

受信データの形式を設定するために使われます。現在サポートされている形式はCSVAVROJSONParquetDeltaです。

[Field Delimiter] (フィールド区切り)

フィールド区切りを指定ドロップダウンリストから[Semicolon] (セミコロン)[Comma] (コンマ)[Tabulation] (集計)[Space] (スペース)を選択できます。 [Other] (その他)を選択して[Custom field delimiter] (カスタムフィールド区切り)フィールドに独自の項目を入力することもできます。

[Record Separator] (レコード区切り)

レコード区切りを設定するために使われます。ドロップダウンリストでは、LFCRCRLFを選択できます。[Other] (その他)を選択して[Custom Record Separator] (カスタムのレコード区切り)フィールドに独自の文字を入力することもできます。

[Text Enclosure Character] (テキストエンクロージャー文字)

テキストを囲むために使用される文字を入力します。

[Escape character] (エスケープ文字)

エスケープする行の文字を入力します。

[Header] (ヘッダー)

取得したデータにヘッダー行を挿入する場合は、このチェックボックスをオンにします。

注:
  • 取得するデータにヘッダー行がある場合は、このオプションを選択します。この場合、スキーマのカラム名がデータのカラムヘッダーと一致していることも確認する必要があります。
  • 取得するデータにヘッダー行がない場合は、このオプションをクリアします。この場合、スキーマのカラムにfield0field1field2などの名前を付ける必要があります。

[File Encoding] (ファイルエンコーディング)

ドロップダウンリストから、ファイルエンコーディングを選択します。

詳細設定

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

[Timeout] (タイムアウト)

接続を作成する際のタイムアウト時間(秒)を指定します。このタイムアウト時間内に接続が正常に作成されない場合はエラーが発生します。

注: このオプションは、Talendが提供するR2022-01以降のTalend Studioマンスリーアップデートをインストール済みである場合のみ利用できます。詳細は管理者にお問い合わせください。

グローバル変数

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

NB_LINE

正しく処理された行数。これはAfter変数で、整数を返します。

使用方法

使用ルール

このコンポーネントは、通常、ジョブまたはサブジョブの開始コンポーネントとして使い、常に出力リンクが必要です。