ログをダウンロードすることなく特定のタスクを監視

特定のタスクのログを生成したりダウンロードしたりすることなく、そのタスクの実行メトリクスを取得できます。

始める前に

パーソナルアクセストークンを生成に従ってパーソナルアクセストークンを生成します。
使用するユーザーまたはサービスアカウントが監視するタスクが属するワークスペースで、[Author] (作成者)、[Viewer] (ビューアー)、[Executor] (エグゼキューター)の各権限を持っていること。
このワークスペースのIDを知っていること。このIDはAPIリクエストかTalend Management Consoleで取得します。
- API:https://api.<your_environment>.cloud.talend.com/orchestration/workspacesでGETを使います。
- Talend Management Console: ワークスペースのIDは、[Edit workspace] (ワークスペースを編集)ページのURLに表示されます。

監視が必要なタスクのIDがあること。

Talend Management Consoleの場合、このIDは監視されるタスクの専用ページに表示されます。例:

タスクIDは以下のAPIリクエストで取得することもできます。

method: GET
endpoint: https://api.<env>.cloud.talend.com/processing/executables/tasks
headers: {
  "Content-Type": "application/json",
  "Authorization": "Bearer <your_personal_access_token>"
          }
query parameters: {
   "workspaceId": "id_of_the_workspace_of_the_task_to_be_monitored"
                  }

このタスクについて

このセクションではまず次のAPIコールが発行されます。

method: GET
endpoint: https://api.<env>.cloud.talend.com/processing/executables/tasks/{taskId}/executions
headers: {
 "Content-Type": "application/json",
 "Authorization": "Bearer <your_personal_access_token>"
}
payload: {
  "lastDays": "1",
  "status": "execution_failed",
  "workspaceId": "id_of_the_workspace"
}

デモンストレーションのため、Talend API Testerに実装されています。

手順

ブラウザーでTalend API Testerを開き、[Method] (メソッド)リストでGETを選択します。
[Method] (メソッド)ドロップダウンリストの横にあるフィールドに、使用するエンドポイントを入力します。
例

この例では、status、lastDays、workspaceIdという各パラメーターを使い、指定されたワークスペースで特定のタスクの前日に失敗した実行をすべて取得します。
このAPIリクエストを発行して、失敗した実行のリストを取得します。

これらの実行IDをそれぞれ使って、観測可能な各メトリクスに対して次のAPIリクエストを発行します。

method: GET
endpoint:
  https://api.<env>.cloud.talend.com/monitoring/observability/executions/{runId}/component
headers: {
   "Authorization": "Bearer <personanl_access_token>"
                  }
payload: N/A

レスポンスを分析し、それぞれの失敗の原因を特定します。たとえばcomponent_execution_duration_millisecondsフィールドがないコンポーネントが存在する場合、このコンポーネントは応答しなくなっている可能性があります。
次のセクションでこのメトリクスの他の使用例を示します。

タスクの結果

以下は、/monitoring/observability/executions/{runId}/componentでのGETリクエストのレスポンスの例です。

{
            "account_id": "2be59707-2230-45dc-a43d-db7e6d798425",
            "engine_id": "a60bb1c0-7669-407f-9326-138af05da18a",
            "engine_type": "CLOUD",
            "engine_version": "2.10.8",
            "workspace_id": "61273932d0366133d05729b7",
            "task_id": "612739e79a0ac71b8f3ed4dd",
            "task_execution_id": "947e3e2f-d199-4988-a5ab-14ceb36c80f3",
            "artifact_id": "612739e79a0ac71b8f3ed4db",
            "artifact_name": "job_with_rejected_rows",
            "artifact_version": "0.1.0.20212608065119",
            "start_time": "2021-08-26T06:53:30.127Z",
            "finish_time": "2021-08-26T06:53:35.361Z",
            "rows_rejected": 1,
            "operator": "admin",
            "operator_type": "HUMAN",
            "processes": [
            {
            "process_id": "0329f8d4-1c69-3372-9233-d38ac6ef03a8",
            "job_name": "MainJob",
            "pid": "20210806181617_2Y68h",
            "father_pid": "20210806181617_2Y68h",
            "root_pid": "20210806181617_2Y68h"
            }
            ],
            "metrics": {
            "items": [
            {
            "pid": "20210806181617_2Y68h",
            "connector_type": "tMongoDBConnection",
            "connector_label": "tMongoDBConnection_1",
            "connector_id": "tMongoDBConnection_1",
            "component_start_time_seconds": 1628266578
            },
            {
            "pid": "20210806181617_2Y68h",
            "connector_type": "tRowGenerator",
            "connector_label": "tRowGenerator_1",
            "connector_id": "tRowGenerator_1",
            "target_connector_type": "tFlowMeter",
            "target_label": "vFlowMeter_row1",
            "target_id": "vFlowMeter_row1",
            "component_start_time_seconds": 1628266578,
            "component_connection_rows_total": 5000000,
            "component_execution_duration_milliseconds": 491585
            },
            {
            "pid": "20210806181617_2Y68h",
            "connector_type": "tFlowMeter",
            "connector_label": "vFlowMeter_row1",
            "connector_id": "vFlowMeter_row1",
            "component_start_time_seconds": 1628266578
            },
            {
            "pid": "20210806181617_2Y68h",
            "connector_type": "tFlowMeter",
            "connector_label": "vFlowMeter_row1",
            "connector_id": "vFlowMeter_row1",
            "target_connector_type": "tMongoDBOutput",
            "target_label": "Insert from SQL",
            "target_id": "tMongoDBOutput_1",
            "component_start_time_seconds": 1628266578,
            "component_connection_rows_total": 5000000,
            "component_execution_duration_milliseconds": 491605
            },
            {
            "pid": "20210806181617_2Y68h",
            "connector_type": "tMongoDBOutput",
            "connector_label": "Insert from SQL",
            "connector_id": "tMongoDBOutput_1",
            "component_start_time_seconds": 1628266578
            },
            {
            "pid": "20210806181617_2Y68h",
            "connector_type": "tMongoDBInput",
            "connector_label": "tMongoDBInput_2",
            "connector_id": "tMongoDBInput_2",
            "target_connector_type": "tLogRow",
            "target_label": "tLogRow_2",
            "target_id": "tLogRow_2",
            "component_start_time_seconds": 1628267070,
            "component_connection_rows_total": 2158754
            },
            {
            "pid": "20210806181617_2Y68h",
            "connector_type": "tLogRow",
            "connector_label": "tLogRow_2",
            "connector_id": "tLogRow_2",
            "component_start_time_seconds": 1628267070
            }
            ],
            "limit": 50,
            "offset": 0,
            "total": 7
            }
            }

このページは役に立ちましたか?

このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。

こちらにフィードバックをお寄せください