Remote Engineでジョブ実行を監視
Talend Remote Engineで実行されているデータ統合ジョブを監視できます。
情報メモ注: この機能を利用するためには、Talend Remote Engineのバージョン2.9.2とStudio Talend 7.3 R2020-07以降のバージョンが必要です。
ジョブがTalend Remote Engineのバージョン2.9.2で実行されるようスケジュールされている場合、Talend Management Consoleは、カスタマイズしたダッシュボードを職場の監視システムやAPM(ELK、Datadog、Azure Monitor、Amazon CloudWatchのようなアプリケーションパフォーマンス監視ツール)でビルドするうえで必要となるデータを提供できます。
Talend Remote EngineとAPMにメトリクスとログ収集システムを設定すれば、エンジンを介してTalend Management ConsoleからAPMに送信される情報によってダッシュボードをデザインして整理できるようになります。
たとえば次のようなデータをダッシュボードで監視できます。
- ジョブ実行ステータス
- Talend Remote Engineの可用性
- リソース消費量(CPU、メモリ、ディスク容量)
- ワークロード(実行タスクの数)
利用できるメトリクス
次のメトリクスと追加ログは、APMツールに統合できるTalend Remote Engineによって提供されます。
古いバージョンのRemote Engineからの既存ログ:
- ジョブ実行ログ
- Remote Engineログ
Talend Remote Engine 2.9.2以降のバージョンからの新しいログ
- ジョブ管理ログ
- ジョブ、Remote Engine、オペレーティングシステムのパフォーマンスメトリクスとコンテキスト
- OSリソース消費量
- Remote Engineのリソース消費量とワークロード
- ジョブ実行時のリソース消費量(CPU、メモリ)
- ジョブ実行履歴(コンポーネント情報、ステータス、期間を含む)
- ジョブ実行のパフォーマンス(処理されたレコードや拒否されたレコードなど)
メトリクスの形式には2種類あり、Remote Engineが公開するHTTPエンドポイントからアクセスできます。
- 汎用のJSONファイル
- Prometheusと互換性がある形式
機能を使用
監視機能を使い始めるためには、次の操作が必要です。
- Remote Engineの新しいバージョンをダウンロードしてインストールする。
- Talend Management Consoleの開発環境でRemote Engineを設定する。
- Studio Talendをインストールするか、7.3 R2020-07以降のバージョンにアップデートする。
- Studio Talendの新しいバージョンからTalend Management Consoleにジョブを再公開する。
- 最新バージョンのジョブが使用されるようタスクをアップデートする(自動アップデートされない場合)。
- ジョブを実行する。
APMとTalendアプリ間の接続設定は、使用するAPMによって異なります。Talend Communityのウェブサイトで、How to configure observability metrics with Talend Cloud - Remote Engineの例をご覧ください。
このページは役に立ちましたか?
このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。