実行とBig Dataプロキシ実行
Moteur distant Gen2コンポーネントの用途は次のとおりです。
- Talend Cloud Pipeline Designer: ライブプレビュー、データセットへのアクセス、パイプラインの実行
- Talend Cloud Data Inventory: 接続 / データセット、サンプルの作成
- Talend Cloud Data Preparation: データセットへのアクセス
Moteur distant Gen2はDockerイメージなので、Dockerを実行している仮想マシンにデプロイするオプションと、選択したコンテナーオーケストレーション化サービスに(できれば)直接デプロイするオプションがあります。いずれにせよ、Moteur distant Gen2のセットアッププロセスは独自のDevOpsチームが完全に自動化できるだけでなく、そうすることが推奨されます。
IPPサーバーのデプロイメントには、次の2つのオプションがあります。
- [Spark local] (Sparkローカル) - シングルマシンでパイプラインを実行します。外部コンピューティングに依存しないものの、水平スケーリングは実行できません。このオプションはリファレンスアーキテクチャー図のIPPサーバーにあります。
- [Deploy on an edge node] (エッジノードにデプロイ) - ビッグデータクラスター(DatabricksやAWS EMRなど)にアクセスできるマシンです。実際の計算はクラスターで行われ、Moteur distant Gen2はプロセスのインスタンス化に使われるランナーです。このランナーが実行されるマシンは、ビッグデータクラスターへのアクセスに必要なネットワーク配置やセキュリティ権限などを備えているため、一般に「エッジノード」と呼ばれます。このオプションはリファレンスアーキテクチャー図のIPPエッジノードにあります。
十分な数のRemote Engineトークンが利用可能であれば、1つまたは両方のパターン、あるいは各パターンの複数のインスタンスに従ってデプロイするよう選択できます。たとえば、2つの異なるチームがソースとターゲットにアクセスできるようMoteur distant Gen2の特定の配置を必要とする場合は、各チームでIPPサーバーとIPPエッジノード(またはそのいずれか)を持つことができます。
このページは役に立ちましたか?
このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。