Apache Spark BatchのtLibraryLoadのプロパティ - Cloud - 8.0

Library import

Version
Cloud
8.0
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > カスタムコードコンポーネント > ライブラリーインポートコンポーネント
データガバナンス > サードパーティーシステム > カスタムコードコンポーネント > ライブラリーインポートコンポーネント
データクオリティとプレパレーション > サードパーティーシステム > カスタムコードコンポーネント > ライブラリーインポートコンポーネント

これらのプロパティを使って、Spark Batchジョブフレームワーク内で実行されているtLibraryLoadを設定します。

Spark BatchtLibraryLoadコンポーネントは、カスタムコードファミリーに属しています。

このフレームワーク内のコンポーネントは、ビッグデータ対応のサブスクリプションTalend 製品すべて、およびTalend Data Fabricで利用できます。

基本設定

ライブラリー

[...]ボタンをクリックして、使用するライブラリをインポートできる[Module] (モジュール)ダイアログボックスを開きます。

詳細については、外部ライブラリーをインポートするをご覧ください。

詳細設定

[Import] (インポート)

必要に応じて、Map/ReduceジョブのtJavaMRなどのコンポーネントの[Basic settings] (基本設定)タブのコード編集フィールドで使用する外部ライブラリーをインポートするために必要なJavaコードを入力します。

使用方法

[Usage rule] (使用ルール)

このコンポーネントは、他のコンポーネントに接続せずに使用されます。

このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend データ統合ジョブだけを扱います。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
  • Yarnモード(YarnクライアントまたはYarnクラスター):
    • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

    • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

    • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
    • オンプレミスのディストリビューションを使用する場合は、クラスターで使用されているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。

  • [Standalone mode] (スタンドアロンモード): tHDFSConfigurationtS3Configurationなど、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。

    ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。

制限事項

ライブラリーはローカルにロードされます。