Azure Data Lake Storage Gen2のプロパティ - Cloud

Talend Cloudアプリコネクターガイド

Version
Cloud
Language
日本語
Product
Talend Cloud
Module
Talend Data Inventory
Talend Data Preparation
Talend Pipeline Designer
Content
ジョブデザインと開発 > パイプラインのデザイン
管理と監視 > 接続の管理
Last publication date
2024-03-21
指定されたAzure Data Lake Storage Gen2ファイルシステムへの接続を確立する設定プロパティです。

Azure Data Lake Storage Gen2接続

プロパティ

設定

[Selection] (選択) Azure Data Lake Storage Gen2を選択または入力します。
[Configuration] (設定)
[Engine] (エンジン) リストからエンジンを選択します。
[Main] (メイン) [Authentication Method] (認証方式) 自分のストレージアカウントを認証する方法を選択します。
  • [Shared Key] (共有キー): アクセスが必要なストレージアカウントに関連付けられたキーを入力します。どのアカウントにも使用できるキーが2つあり、デフォルトでは、どちらもこのアクセスに使用できます。キーの取得方法は、Manage a storage accountをお読みください。
  • [Shared Access Signature]: 自分のアカウントのSASトークンを入力します。SASが生成された後は、Microsoft Azureポータルで許可されている各サービスのSASトークンを取得できます。SASトークンの形式はhttps://<$storagename><$service>.core.windows.net/<$sastoken>となります。<$storagename>はストレージアカウント名、<$service>は許可されているサービスの名前(Blob、file、queue、またはtable)、<$sastoken>はSASトークンの値です。詳細は、「Constructing the Account SAS URI」(Account SAS URIの構築)をお読みください。
  • [Azure Active Directory]: BlobとQueueサービスへのリクエストをIDベースで認証できるよう、自分のアカウントに関連付けられているテナントID、クライアントID、クライアントシークレットを入力します。詳細は、Authorize with Azure Active Directoryをご参照ください。
[Account Name] (アカウント名) アクセスする必要があるData Lake Storageアカウントの名前を入力します。このアカウントへの適切なアクセス権をシステム管理者から得ていることを確認します。
[Endpoint suffix] (エンドポイントサフィックス) 該当するAzureクラウドアカウントのリージョンに応じたエンドポイントサフィックスを入力します。

例1: core.windows.net (Azureパブリックのデフォルト)

例2: core.chinacloudapi.cn (Azure China Cloud)

[Advanced] (詳細) [Timeout] (タイムアウト) 接続が使用できるまでユーザーが待機する最大秒数を設定します。この秒数を過ぎても接続が使用できない場合は例外が返されます。
[Description] (説明) 接続の表示名(必須)と説明(オプション)を入力します。

Azure Data Lake Storage Gen2データセット

プロパティ 設定
[Dataset Name] (データセット名) データセットの表示名を入力します。この名前はすべてのTalend Cloudアプリでデータセットの一意識別子として使われます。
[Connection] (接続) リストで接続を選択します。既存の接続に基づいてデータセットを作成する場合、このフィールドは読み取り専用となります。
[Check connection] (ファイルシステム) Azure Data Lake Storageファイルシステムの名前を選択または入力します。
[Blob path] (Blobパス) 取得するファイルが含まれているディレクトリーへのパスを入力します。
[Format] (形式) 取得する次のようなファイル形式をリストで選択し、そのファイル形式に関連する情報を入力または選択します。
  • CSV:
    • [Field delimiter] (フィールド区切り): 取得するファイルで使用するフィールド区切りのタイプを選択します。[Other] (その他)を選択すれば、[custom field delimiter] (カスタムのフィールド区切り)フィールドにカスタムのフィールド区切りを入力できます。
    • [Record separator] (レコード区切り): 取得するファイルで使用するレコード区切りの種類を選択します。[Other] (その他)を選択すれば、[custom record delimiter] (カスタムのレコード区切り)フィールドにカスタムのレコード区切りを入力できます。
    • [Text enclosure character] (テキスト囲み文字): フィールドを囲むために使用する文字を入力します。
    • [Escape character] (エスケープ文字): 取得するレコードでエスケープする文字を入力します。
    • [Header] (ヘッダー): 取得するファイルにヘッダー行が含まれている場合はこのオプションを有効にし、スキーマでスキップする行数を入力または選択します。
    • [CSV schema] (CSVスキーマ): CSVファイルに対応するスキーマを入力します。
    • [File encoding] (ファイルエンコーディング): 取得するファイルで使用するエンコーディングの種類を選択します。[Other] (その他)を選択すれば、[Custom encoding] (カスタムエンコーディング)フィールドにカスタムのエンコーディングタイプを入力できます。
  • Avro: この形式には特定のパラメーターは必要ありません。
  • JSON: この形式には特定のパラメーターは必要ありません。
  • Parquet: この形式には特定のパラメーターは必要ありません。
  • Delta: この形式には特定のパラメーターは必要ありません。
    重要: パーティショニングされたDeltaテーブルはサポートされません。どのパーティショニングされたカラムも返されません。