Sparkで使われるAzure Data Lake Storageサービスへの接続を設定 - Cloud - 8.0

Databricks

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > ジョブデザイン > Hadoopディストーション > Databricks
ジョブデザインと開発 > ジョブデザイン > Serverless > Databricks
Last publication date
2024-02-28

手順

  1. tAzureFSConfigurationをダブルクリックして、その[Component] (コンポーネント) ビューを開きます。
    Sparkはこのコンポーネントを使って、ジョブが実際のビジネスデータを書き込むAzure Data Lake Storageシステムに接続します。
  2. Azure FileSystemドロップダウン リストから、Azure Datalake Storageを選択して、Data Lake Storage を使用するターゲット システムとして使用します。
  3. [Datalake ストレージ アカウント]フィールドには、アクセスする必要がある Data Lake ストレージ アカウントの名前を入力します。
    システムの管理者がAzureアカウントにこのDataLakeStorageアカウントへの適切なアクセス許可を付与していることをご確認ください。
  4. [Client ID] (クライアントID)フィールドと[Client key] (クライアントキー)フィールドに、開発中である現行のジョブがAzure Data Lake Storageへのアクセスに使うアプリケーションを登録する際に生成された認証IDと認証キーをそれぞれ入力します。

    使用するアプリケーションにAzure Data Lakeへのアクセス権があることを確認します。Azureでこのアプリケーションの[Required permissions] (必要な権限)ビューをチェックしてください。詳細は、AzureのドキュメンテーションであるAssign the Azure AD application to the Azure Data Lake Storage account file or folderをご覧ください。

    このアプリケーションは、前の手順でAzure Data Lake Storageへのアクセス権を割り当てたアプリケーションである必要があります。

  5. [Token endpoint] (トークンエンドポイント)フィールドで、Azureポータルの[App registrations] (アプリの登録)ページの[Endpoints] (エンドポイント)リストから取得できるOAuth 2.0トークンエンドポイントをコピーして貼り付けます。