Apache Spark BatchのtAzureFSConfigurationプロパティ - Cloud - 8.0

Azure Storage Blob

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Azure > Azure Storage Blobコンポーネント
データガバナンス > サードパーティーシステム > クラウドストレージ > Azure > Azure Storage Blobコンポーネント
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Azure > Azure Storage Blobコンポーネント

これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtAzureFSConfigurationを設定するために使われます。

Spark Batch tAzureFSConfigurationコンポーネントは、ストレージファミリーに属しています。

このフレームワーク内のコンポーネントは、ビッグデータ対応のサブスクリプションTalend 製品すべて、およびTalend Data Fabricで利用できます。

基本設定

[Azure FileSystem] (Azureファイルシステム)

使用するファイルシステムを選択します。定義するパラメーターが表示されます。

このコンポーネントは、実際のユーザーデータまたはビジネスデータをData Lake Storageシステムに保存するように設計されており、HDInsightで プライマリストレージとして定義されているData Lake Storageとは互換性がありません。このため、このコンポーネントをHDInsightと共に使用している場合は、HDInsightの起動時にプライマリストレージに必ずBlobストレージを設定し、Data Lake Storageは設定しないでください。

このコンポーネントをAzure Blob Storageで使う場合:

[Blob storage account] (Blobストレージアカウント)

アクセスする必要のあるストレージアカウントの名前を入力します。ストレージアカウント名は、使用するMicrosoft Azure Storageシステムのストレージアカウントダッシュボード内にあります。このストレージアカウントへの適切なアクセス権をシステム管理者から得ていることを確認します。

[Account key] (アカウントキー)

アクセスする必要のあるストレージアカウントに関連付けられたキーを入力します。どのアカウントでも利用できるキーが2つあり、このアクセスにはデフォルトでどちらのキーも使用できます。ドロップダウンリストで、Azure Storageへの接続を設定するために接続の詳細を使用するコンポーネントを選択します。

[Container] (コンテナー)

使う必要があるBlobコンテナーの名前を入力します。

このコンポーネントをAzure Data Lake Storage Gen1で使う場合:

[Data Lake Storage account] (Data Lake Storageアカウント)

アクセスする必要のあるData Lake Storageアカウントの名前を入力します。このアカウントへの適切なアクセス権をシステム管理者から得ていることを確認します。

[Client ID] (クライアントID)[Client key] (クライアントキー)

[Client ID] (クライアントID)フィールドと[Client key] (クライアントキー)フィールドに、開発中である現行のジョブがAzure Data Lake Storageへのアクセスに使うアプリケーションを登録する際に生成された認証IDと認証キーをそれぞれ入力します。

使用するアプリケーションにAzure Data Lakeへのアクセス権があることを確認します。Azureでこのアプリケーションの[Required permissions] (必要な権限)ビューをチェックしてください。詳細は、AzureのドキュメンテーションであるAssign the Azure AD application to the Azure Data Lake Storage account file or folderをご覧ください。

[Token endpoint] (トークンエンドポイント)

[Token endpoint] (トークンエンドポイント)フィールドで、Azureポータルの[App registrations] (アプリの登録)ページの[Endpoints] (エンドポイント)リストから取得できるOAuth 2.0トークンエンドポイントをコピーして貼り付けます。

このコンポーネントをAzure Data Lake Storage Gen2で使う場合:

[Authentication mode] (認証モード)

Azure ADLS Gen2ストレージに接続するよう、認証タイプを設定するために使われます。次のオプションが提供されます。
  • [Secret Key] (シークレットキー): Azureストレージアカウントのファイルシステムのキーを使ってAzure ADLS Gen2にアクセスするには、このオプションを選択します。
  • [Azure Active Directory]: Azure Active Directory (Azure AD)の認証情報を使ってAzure ADLS Gen2ストレージにアクセスするには、このオプションを選択します。

[Data Lake Storage account] (Data Lake Storageアカウント)

アクセスする必要のあるData Lake Storageアカウントの名前を入力します。このアカウントへの適切なアクセス権をシステム管理者から得ていることを確認します。

[Application ID] (アプリケーションID)[Directory ID] (ディレクトリーID)

[Application ID] (アプリケーションID)フィールドでアプリケーション(クライアント)IDを、[Directory ID] (ディレクトリーID)フィールドでディレクトリー(テナント)IDをそれぞれコピーして貼り付けます。この2つのIDは、Azureポータルの[App registrations] (アプリの登録)ページでアクセス可能な[Overview] (概要)タブから取得できます。

これらのフィールドは、[Authentication mode] (認証モード)ドロップダウンリストで[Azure Active Directory]を選択した場合のみ利用できます。

[Client Key] (クライアントキー)

[Client key] (クライアントキー)フィールドには、現在開発中のジョブがAzure Data Lake Storageへのアクセスに使用するアプリケーションの登録時に生成された認証キーを入力します。

使用するアプリケーションにAzure Data Lakeへのアクセス権があることを確認します。Azureでこのアプリケーションの[Required permissions] (必要な権限)ビューをチェックしてください。詳細は、AzureのドキュメンテーションであるAssign the Azure AD application to the Azure Data Lake Storage account file or folderをご覧ください。

このフィールドは、[Authentication mode] (認証モード)ドロップダウンリストで[Azure Active Directory]を選択した場合のみ利用できます。

[Account key] (アカウントキー) Azureストレージアカウントのファイルシステムにアクセスするためのアカウントキーを入力します。

このフィールドは、[Authentication mode] (認証モード)ドロップダウンリストで[Secret Key] (シークレットキー)を選択した場合のみ利用できます。

[File system] (ファイルシステム)

このフィールドには、使用するADLS Gen2ファイルシステムの名前を入力します。

ADLS Gen2ファイルシステムは階層ストラクチャーになっているため、HDFSと互換性があります。

[Create remote file system during initialization] (初期化中にファイルシステムを作成) 使用するADLS Gen2ファイルシステムが存在しない場合は、このチェックボックスをオンにすれば状況に応じて作成できます。

グローバル変数

グローバル変数

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。

Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + スペースを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、Talend Studioユーザーガイドをご覧ください。

使用方法

使用ルール

サブジョブにあるtAzureFSConfigurationコンポーネントを複数使って、ジョブ全体で複数のAzureファイルシステム(ADLS Gen2のみ)に接続を設定できます。他のAzureファイルシステム(ADLS Gen1およびAzure Blob Storage)では、このコンポーネントはサブジョブでスタンドアロンで使われます。

tAzureFSConfigurationコンポーネントを複数使用している場合は、全Azure ADLS Gen2ストレージのcreateRemoteFileSystemDuringInitializationプロパティに同じ値を設定してください。

tAzureFSConfigurationは、Google Cloud Dataproc V1.1へのSSLアクセスをサポートしていません。

Sparkの出力ファイルをAzure Data Lake Storage上で1つのファイルにマージすることはできません。この機能がAzure Data Lake Storageでサポートされていないためです。また、この機能は最新のHadoop APIで非推奨となりました。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
  • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

  • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。

この接続は、ジョブごとに有効になります。