Remote Engine Gen2のアーキテクチャー - Cloud

Talend Remote Engine Gen2クイックスタートガイド

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
インストールとアップグレード
デプロイメント > デプロイ中 > パイプラインの実行
EnrichPlatform
Talend Management Console
Talend Pipeline Designer
このアーキテクチャー図は、Talend Cloudアプリ、Cloud Engine for DesignRemote Engine Gen2の間の関係をまとめたものです。

この図は、Talend Cloudインフラストラクチャー、および顧客のローカルネットワークまたは仮想プライベートクラウド(VPC)という2つの主要な部分に分かれています。

クラウドインフラストラクチャー

クラウドインフラストラクチャーには、Talend Cloud Management ConsoleTalend Cloud Pipeline Designerが含まれています。
  • Talend Cloud Management Consoleではロール、ユーザー、エンジン、ライセンスを管理できます。Talend Cloud Management Consoleは、Remote Engine Gen2や対応する実行プロファイルを定義する場合にも使われます。後者は、実行に割り当てられたリソースをカスタマイズする時に使います。
  • データセットサービスは、Talend Cloud内に統一データセットリストを提供します。Talend Cloud Data Inventoryは、データセットコレクションへのアクセスと保守の中心地となります。

    Talend Cloud Data PreparationおよびTalend Cloud Pipeline Designerは、一般的なデータセットインベントリーからメリットを得る他の2つのアプリケーションであり、データをクレンジングまたは変換できます。

  • ユーザーがアプリをすばやく開始できるよう、Talend Cloud Management ConsoleにはCloud Engine for Designとそれに対応する実行プロファイルがデフォルトで組み込まれていますが、データの高度な処理のためにはセキュアなRemote Engine Gen2をインストールすることをお勧めします。

    これらのエンジンは、アーティファクト、タスク、プレパレーション、パイプラインをクラウドで実行するほか、接続を作成したりデータサンプルをフェッチしたりするために使われます。

顧客の仮想プライベートクラウド

仮想プライベートクラウドには、オンプレミスで、またはAmazon AWSやAzureのアカウントで作成し、パイプラインやプレパレーションを安全に実行するために使われるRemote Engine Gen2が含まれています。Remote Engine Gen2は、Kafka、データベース、ファイルシステムなどに保存されているデータへ安全にアクセスし、以下の環境でアーティファクトが実行されるようにします。
  • ローカルのSparkエンジン(デフォルト)
  • Yarnクラスター上のSpark
  • サーバーレスクラスター(ローカルのSparkエンジン、Yarnクラスター上のSpark、Databricksクラスターなど)