Remote Engineでのジョブ実行の監視 - Cloud

Linux版Talend Remote Engineユーザーガイド

EnrichVersion
Cloud
EnrichProdName
Talend Cloud
EnrichPlatform
Talend Remote Engine
task
インストールとアップグレード
ジョブデザインと開発

Talend Remote Engineで実行されている Data Integrationジョブを監視できます。

注: この機能を利用するためには、Talend Remote Engineのバージョン2.9.2とTalend Studio 7.3 R2020-07以降のバージョンが必要です。

ジョブがTalend Remote Engineのバージョン2.9.2で実行されるようスケジュールされている場合、Talend Cloud Management Consoleは、カスタマイズしたダッシュボードを職場の監視システムやAPM(ELK、Datadog、Azure Monitor、Amazon CloudWatchのようなアプリケーションパフォーマンス監視ツール)でビルドするうえで必要となるデータを提供できます。

Talend Remote EngineとAPMにメトリクスとログ収集システムを設定すれば、エンジンを介してTalend Cloud Management ConsoleからAPMに送信される情報によってダッシュボードをデザインして整理できるようになります。

たとえば次のようなデータをダッシュボードで監視できます。
  • ジョブ実行ステータス
  • Talend Remote Engineの可用性
  • リソース消費量(CPU、メモリ、ディスク容量)
  • ワークロード(実行タスクの数)
監視機能によって、エラーが発生した場合のアラートを設定したり、ジョブ実行時間と処理レコードを比較してジョブ実行パフォーマンスを最適化したりできます。

利用できるメトリクス

次のメトリクスと追加ログは、APMツールに統合できるTalend Remote Engineによって提供されます。

古いバージョンのRemote Engineからの既存ログ:
  • ジョブ実行ログ
  • Remote Engineログ
Talend Remote Engine 2.9.2以降のバージョンからの新しいログ
  • ジョブ管理ログ
  • ジョブ、Remote Engine、オペレーティングシステムのパフォーマンスメトリクスとコンテキスト
    • OSリソース消費量
    • Remote Engineのリソース消費量とワークロード
    • ジョブ実行時のリソース消費量(CPU、メモリ)
    • ジョブ実行履歴(コンポーネント情報、ステータス、期間を含む)
    • ジョブ実行のパフォーマンス(処理されたレコードや拒否されたレコードなど)
メトリクスの形式には2種類あり、Remote Engineが公開するHTTPエンドポイントからアクセスできます。
  • 汎用のJSONファイル
  • Prometheusと互換性がある形式

機能の使用

監視機能を使い始めるためには、次の操作が必要です。
  1. Remote Engineの新しいバージョンをダウンロードしてインストールする。
  2. Talend Cloud Management Consoleの開発環境でRemote Engineを設定する。
  3. Talend Studioをインストールするか、7.3 R2020-07以降のバージョンにアップデートする。
  4. Studioの新しいバージョンからTalend Cloud Management Consoleにジョブを再公開する。
  5. 最新バージョンのジョブが使用されるようタスクを更新する(自動更新されない場合)。
  6. ジョブを実行する。

APMとTalendアプリ間の接続設定は、使用するAPMによって異なります。TalendコミュニティのWebサイトでをいくつか紹介しています。