実行プロファイル - Cloud

Talend Cloud Pipeline Designerユーザーガイド

EnrichVersion
Cloud
EnrichProdName
Talend Cloud
EnrichPlatform
Talend Pipeline Designer
task
ジョブデザインと開発 > パイプラインのデザイン
デプロイメント > デプロイ中 > パイプラインの実行
データガバナンス > データのフィルタリング
データクオリティとプレパレーション > データのフィルタリング
データクオリティとプレパレーション > データセットの管理
管理と監視 > ログの監視
管理と監視 > 実行の監視

Talend Cloud Pipeline Designerによって、管理者がTalend Cloud Management Consoleで以前作成した事前定義済みおよび事前設定済みの実行環境であるRemote Engine Gen2を選択できるようになります。

エンジンとそのプロファイルをTalend Cloud Management Consoleから作成する方法の詳細は、『Talend Cloud Management Consoleユーザーガイド』を参照してください。Webアプリケーションで使用できる実行プロファイルは次のリストのとおりです。

注: SparkとHadoopをTalend Cloud Pipeline Designerで使用するには、ビッグデータのTalend Cloudサブスクリプションが必要です。

Remote Engine Gen2 実行プロファイル

説明

[Standard/Local Spark] (標準/ローカルのSpark)

デフォルトの実行プロファイル: Apache Sparkランナーはマシン上でローカルに実行されます。このプロファイルは開発目的およびテスト目的で使用されます。

Big Data/Spark on Yarn

EMR 6.xでのクラスターモードによるApache Sparkランナー。

Databricks この実行プロファイルによって、DatabricksクラスターでSparkパイプラインを実行できるようになります。Talend Cloud Pipeline Designerで使用するDatabricksクラスターの設定方法については、この手順をお読みください。
注: クラスターでパイプラインを初めて実行する場合、2回目以降の実行より長い時間がかかります。これは依存項目がDatabricks File System (DBFS)にデプロイされていることが理由です。依存項目をDBFSに手動でアップロードして初回の実行時間を大幅に短縮させるには、この手順に従ってください。

[Advanced] (詳細)

ランナーJSONプロパティを入力できる、カスタマイズ可能な実行プロファイルです。