Sparkで使用するAzure Data Lake Storageサービスへの接続を設定する - Cloud - 8.0

Azure Data Lake Store

Version
Cloud
8.0
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Azure > Azure Data Lake Storeコンポーネント
データガバナンス > サードパーティーシステム > クラウドストレージ > Azure > Azure Data Lake Storeコンポーネント
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Azure > Azure Data Lake Storeコンポーネント

手順

  1. tAzureFSConfigurationをダブルクリックして、その[Component] (コンポーネント) ビューを開きます。
    Sparkはこのコンポーネントを使って、ジョブが実際のビジネスデータを書き込むAzure Data Lake Storageシステムに接続します。
  2. Azure FileSystemドロップダウン リストから、Azure Datalake Storageを選択して、Data Lake Storage を使用するターゲット システムとして使用します。
  3. [Datalake ストレージ アカウント]フィールドには、アクセスする必要がある Data Lake ストレージ アカウントの名前を入力します。
    システムの管理者がAzureアカウントにこのDataLakeStorageアカウントへの適切なアクセス許可を付与していることをご確認ください。
  4. [Client ID] (クライアントID)フィールドと[Client key] (クライアントキー)フィールドに、開発中である現行のジョブがAzure Data Lake Storageへのアクセスに使うアプリケーションを登録する際に生成された認証IDと認証キーをそれぞれ入力します。

    使用するアプリケーションにAzure Data Lakeへのアクセス権があることを確認します。Azureでこのアプリケーションの[Required permissions] (必要な権限)ビューをチェックしてください。詳細は、AzureのドキュメンテーションであるAssign the Azure AD application to the Azure Data Lake Storage account file or folderを参照してください。

    このアプリケーションは、前の手順でAzure Data Lake Storageへのアクセス権を割り当てたアプリケーションである必要があります。

  5. [Token endpoint] (トークンエンドポイント)フィールドで、Azureポータルの[App registrations] (アプリの登録)ページの[Endpoints] (エンドポイント)リストから取得できるOAuth 2.0トークンエンドポイントをコピーして貼り付けます。