Talend Cloudでの実行エンジン - Cloud

Talend Cloud Management Console for Pipelinesユーザーガイド

Version
Cloud
Language
日本語 (日本)
Product
Talend Cloud
Module
Talend Management Console
Content
デプロイメント > スケジューリング > タスクのスケジューリング
デプロイメント > デプロイ中 > タスクの実行
管理と監視 > プロジェクトの管理
管理と監視 > ユーザーの管理
Talend Cloud Management Consoleでタスクやプランを実行するために使用できるエンジンのタイプは次のとおりです。

Cloud Engine

Cloud Engineは、タスクを実行するクラウド内のTalendによって管理される計算リソースのことです。実行予定の同時実行タスク数に比例するよう、Cloud Engineを環境に割り当てます。
  • デフォルトのCloud Engineは自動的に利用可能となります。特定の環境に割り当てることができないため、このデフォルトのCloud Engineは常に未割り当てのエンジンです。

    そのため、このエンジンは[Environment details] (環境詳細)ブレードには表示されません。

  • 未割り当てのCloud Engineはすべての環境で使用できます。ただし、Cloud Engineが環境に割り当てられていない場合は、他のタスクがCloud Engineをすべて占有するため、一部のタスクを実行できないことがあります。

    デフォルト環境で使用できるのは割り当てられていないCloud Engineのみです。

  • このデフォルトのCloud Engineをはじめ、各Cloud Engineは実行のために45000個のエンジントークンを必要とし、3タスクまで並列実行できます。このエンジンがシャットダウンされると45000個のエンジントークンは解放されます。

    [Cloud Exclusive] (クラウド専用)でタスクを実行する場合、そのCloud Engineでは他のタスクは実行されません。Cloud Exclusiveエンジンを使用できるのは、Cloud Engineが割り当てられていない環境のみです。

    あるCloud Engineで3つの異なるタスクや同じタスクが既に実行中である場合、タスクの実行のために別のエンジンが選択されます。

    Cloud Engineで実行中のジョブには次のシステムリソース制限が適用されます。

    • ディスク使用量: 200GB
    • メモリ使用量: 8GB

    より多くのリソースを必要とするジョブでは、Talend Remote Engineをターゲットランタイムとして使用することを検討してください。

  • 実行中のCloud Engineは1時間ごとに使用状況が検証されます。1時間の間にタスクの実行が見つからなかった場合、このCloud Engineは自動的にシャットダウンされます。見つかった場合は引き続き実行され、その1時間後に再度シャットダウンの検証が行われます。これはCloud Engineの一般的なライフサイクルです。

    ただし、ウォームアップイベント(このCloud Engineにタスク実行スケジュールが設定されているなど)が発生すると、進行中のシャットダウンスケジュールはキャンセルされ、シャットダウン検証は別の1時間の最後に再設定されます。

    ライセンスがコミュニティレベルであれば、Talend Cloudへのユーザーログインはウォームアップイベントであるとも考えられます。この場合は、デフォルトのCloud Engineがユーザーログイン時に起動します。

    Cloud Engineの起動には常にかなり時間がかかりますが、このシャットダウン検証メカニズムを使えばCloud Engineを頻繁にシャットダウンせずに済むようになります。

Talend Remote Engine

Remote Engineによって、オンプレミスのアプリケーションやデータベースを使用するジョブ、ルート、データサービスタスクを実行できるようになります。デフォルトでは、異なるタスクを3つまで同じエンジンで並行して実行できます。

データがステージングされないため、Talend Cloud Management ConsoleTalend Remote Engineの間のアウトバウンド通信は完全に保護されます。

データサービスとルートタスクをデプロイできるのはRemote Engineのみです。OSGiタイプのデプロイメントでは、 Talend Runtime 7.1.1以降のバージョンをTalend Remote Engineと同じマシンにインストールして実行している必要があります。マイクロサービスがルートとRESTデータサービスのデプロイメントで必要とするアプリケーションは、Remote Engine内のData Service Runnerモジュール以外にはありません。データサービスタスクを実行できるのは、マイクロサービスまたは Talend Runtime (OSGi用)の実行プロファイルが設定されているエンジンに限られます。

Remote Engineはグループ化してクラスターにできます。クラスターは環境内にいくつでも作成可能です。ただし、クラスターに追加したRemote Engineを使ってTalend Studioから直接タスクを実行することはできません。

Remote Engineが実行可能となるためには9000エンジントークンが必要です。

Talend Remote Engineと、Studioアーティファクトにリンクされた実行プロファイルの詳細は、Talend Remote Engineユーザーガイドを参照してください。

Cloud Engine for Design

Cloud Engine for Designは、処理エンジンをセットアップしなくてもパイプラインを簡単にデザインできる組み込みランナーです。Databricks実行プロファイルを使えば、リソースの割り当てが異なるパイプラインをCloud Engine for Designで実行できます。

Cloud Engine for Designで実行中のパイプラインには次のリソース制限が適用されます。

  • メモリ使用量: 8GB
  • 2つのパイプラインの並列実行が可能

データの高度な処理のためには、セキュアなRemote Engine Gen2をインストールすることをお勧めします。

Remote Engine Gen2

Remote Engine Gen2はパイプラインを安全に実行できるセキュアな実行エンジンです。このエンジンを使用すれば、Talendにはパイプラインのデータやリソースへのアクセスを持たないため、安全かつセキュアな環境でのデータ処理が可能です。独自の環境(仮想プライベートクラウドまたはオンプレミス)でエンジンを作成して設定できるので、実行環境とリソースの制御が自在です。このエンジンはまた、大量のデータを移動させて計算するのではなくデータの局所性を高めることで、最適なパフォーマンスを実現します。

実行プロファイルを使えば、リソースの割り当てが異なるパイプラインをRemote Engine Gen2で実行できます。

Remote Engine Gen2の詳細は、Talend Remote Engine Gen2クイックスタートガイドを参照してください。