Dépanner une exécution de tâche suspendue

Lorsque votre tâche de Job est suspendue, récupérez les métriques d'observabilité pour en identifier les causes.

Procédure

Obtenez l'ID de l'exécution de tâche à analyser.
Cet ID est disponible sur la page Task execution log (Log d'exécution de la tâche) de Talend Cloud Management Console, sous le nom Task execution ID (ID d'exécution de la tâche). Vous pouvez également obtenir cet ID via un appel GET depuis l'endpoint /processing/executables/tasks/{taskId}/executions.
L'ID de la tâche est disponible dans la page Task details (Détails de la tâche) de Talend Cloud Management Console. Si vous devez récupérer cet ID via une API, suivez cet exemple.

Émettez la requête d'API suivante pour trouver les composants encore en cours d'exécution :

method: GET
endpoint: 
      https://api.<env>.cloud.talend.com/monitoring/observability/executions/{runId}/component
headers: {
 "Authorization": "Bearer <personanl_access_token>"
}
payload: N/A

Analysez la réponse pour identifier le composant pour lequel le champ component_execution_duration_milliseconds n'est pas disponible.

Émettez une autre requête d'API pour trouver quels composants gèrent le plus d'enregistrements :

method: GET
endpoint: 
   https://api.<env>.cloud.talend.com/monitoring/observability/executions/{runId}/component?sortBy=component_connection_rows_total&sortOrder=desc
headers: {
 "Authorization": "Bearer <personanl_access_token>"
}
payload: N/A

Émettez cette requête d'API pour trouver le composant dont l'exécution a duré le plus longtemps :

method: GET
endpoint: 
   https://api.<env>.cloud.talend.com/monitoring/observability/executions/{runId}/component?sortBy=component_execution_duration_milliseconds&sortOrder=desc
headers: {
 "Authorization": "Bearer <personanl_access_token>"
}
payload: N/A

Résultats

Selon leur nom, il est possible d'identifier les composants de connexion, par exemple le tMongoDBConnection. Si vous en trouvez, le problème peut provenir de la connexion.
Examinez le statut de l'état de santé du moteur Cloud sur lequel votre tâche a été exécutée.
Lisez les informations concernant ces composants dans le log d'exécution de la tâche. Vous pouvez lire ce log dans la page Run overview (Vue d'ensemble des exécutions) de Talend Cloud Management Console ou via une API, comme expliqué dans .

Voici un exemple de réponse de requête GET sur l'endpoint /monitoring/observability/executions/{runId}/component.

{
    "account_id": "2be59707-2230-45dc-a43d-db7e6d798425",
    "engine_id": "a60bb1c0-7669-407f-9326-138af05da18a",
    "engine_type": "CLOUD",
    "engine_version": "2.10.8",
    "workspace_id": "61273932d0366133d05729b7",
    "task_id": "612739e79a0ac71b8f3ed4dd",
    "task_execution_id": "947e3e2f-d199-4988-a5ab-14ceb36c80f3",
    "artifact_id": "612739e79a0ac71b8f3ed4db",
    "artifact_name": "job_with_rejected_rows",
    "artifact_version": "0.1.0.20212608065119",
    "start_time": "2021-08-26T06:53:30.127Z",
    "finish_time": "2021-08-26T06:53:35.361Z",
    "rows_rejected": 1,
    "operator": "admin",
    "operator_type": "HUMAN",
    "processes": [
        {
            "process_id": "0329f8d4-1c69-3372-9233-d38ac6ef03a8",
            "job_name": "MainJob",
            "pid": "20210806181617_2Y68h",
            "father_pid": "20210806181617_2Y68h",
            "root_pid": "20210806181617_2Y68h"
        }
    ],
    "metrics": {
        "items": [
            {
                "pid": "20210806181617_2Y68h",
                "connector_type": "tMongoDBConnection",
                "connector_label": "tMongoDBConnection_1",
                "connector_id": "tMongoDBConnection_1",
                "component_start_time_seconds": 1628266578
            },
            {
                "pid": "20210806181617_2Y68h",
                "connector_type": "tRowGenerator",
                "connector_label": "tRowGenerator_1",
                "connector_id": "tRowGenerator_1",
                "target_connector_type": "tFlowMeter",
                "target_label": "vFlowMeter_row1",
                "target_id": "vFlowMeter_row1",
                "component_start_time_seconds": 1628266578,
                "component_connection_rows_total": 5000000,
                "component_execution_duration_milliseconds": 491585
            },
            {
                "pid": "20210806181617_2Y68h",
                "connector_type": "tFlowMeter",
                "connector_label": "vFlowMeter_row1",
                "connector_id": "vFlowMeter_row1",
                "component_start_time_seconds": 1628266578
            },
            {
                "pid": "20210806181617_2Y68h",
                "connector_type": "tFlowMeter",
                "connector_label": "vFlowMeter_row1",
                "connector_id": "vFlowMeter_row1",
                "target_connector_type": "tMongoDBOutput",
                "target_label": "Insert from SQL",
                "target_id": "tMongoDBOutput_1",
                "component_start_time_seconds": 1628266578,
                "component_connection_rows_total": 5000000,
                "component_execution_duration_milliseconds": 491605
            },
            {
                "pid": "20210806181617_2Y68h",
                "connector_type": "tMongoDBOutput",
                "connector_label": "Insert from SQL",
                "connector_id": "tMongoDBOutput_1",
                "component_start_time_seconds": 1628266578
            },
            {
                "pid": "20210806181617_2Y68h",
                "connector_type": "tMongoDBInput",
                "connector_label": "tMongoDBInput_2",
                "connector_id": "tMongoDBInput_2",
                "target_connector_type": "tLogRow",
                "target_label": "tLogRow_2",
                "target_id": "tLogRow_2",
                "component_start_time_seconds": 1628267070,
                "component_connection_rows_total": 2158754
            },
            {
                "pid": "20210806181617_2Y68h",
                "connector_type": "tLogRow",
                "connector_label": "tLogRow_2",
                "connector_id": "tLogRow_2",
                "component_start_time_seconds": 1628267070
            }
        ],
        "limit": 50,
        "offset": 0,
        "total": 7
    }
}

Dépanner une exécution de tâche suspendue - Cloud

Guide d'utilisation des API Talend Cloud

Procédure

Résultats