Métriques disponibles pour le monitoring - Cloud

Guide d'utilisation de Talend Remote Engine pour Linux

Version
Cloud
Language
Français (France)
Product
Talend Cloud
Module
Talend Remote Engine
Content
Création et développement
Installation et mise à niveau

Les métriques suivantes sont fournies par Talend Cloud Management Console via Talend Remote Engine pouvant s'intégrer dans votre outil de monitoring de performances d'application, afin d'observer vos Jobs.

Les métriques ci-dessous sont capturées lorsqu'une exécution de Job et démarrée dans Talend Cloud Management Console.

Les métriques de traitement sont envoyées par défaut par Prometheus.

Métriques relatives aux systèmes d'exploitation

Les métriques suivantes sont présentes et activées par défaut. Elles ne peuvent être désactivées.

Paramètre Description
os_cpu_cores_total Nombre de processeurs logiques disponibles.
os_cpu_usage Utilisation en temps réel du processeur par le système d'exploitation.
os_system_load_average Nombre moyen de processus exécutés par le processeur, calculé sur une période de temps donnée.
os_memory_bytes_total Taille de la mémoire physique réelle (en octets).
os_memory_bytes_available Taille de la mémoire physique disponible (en octets).
os_filestore_bytes_total Taille du Filestore physique réel (en octets).
os_filestore_bytes_available Taille du Filestore physique réel disponible (en octets).

Métriques métier

Les métriques suivantes sont présentes et activées par défaut. Elles ne peuvent être désactivées.

Paramètre Catégorie Description
component_connection_rows_total Composants Nombre total de lignes traitées par un composant d'un Job (généré pour les composants gérant des lignes)
component_start_time_seconds Composants Horodatage indiquant le début d'exécution du composant (tout composant dans le Job)
Remarque : Prérequis minimal : patch du Studio Talend 7.3 R2020-11 et Talend Remote Engine v2.9.4 (ou versions ultérieures).
component_execution_duration_milliseconds Composants Temps nécessaire pour exécuter un composant de Job (généré pour les composants gérant des lignes)
job_execution_duration_seconds Job Temps nécessaire pour exécuter un Job
job_start_time_seconds Job Horodatage indiquant l'heure de début de l'exécution.
re_execution_count_max Moteur distant Nombre maximal de tâches qu'un moteur distant peut exécuter en parallèle
re_execution_count_current Moteur distant Nombre de tâches actuellement déployées et exécutées par le moteur distant
re_logs_directory_bytes_used Moteur distant Taille du répertoire de log du moteur distant
re_jobserver_directory_bytes_used Moteur distant Taille du répertoire du JobServer du moteur distant

Pour déterminer le moment de fin d'exécution du Job, ajoutez les valeurs des paramètres job_execution_duration_seconds et job_start_time_seconds. De la même manière, pour déterminer lorsque l'exécution du composant se termine, ajoutez la valeur des paramètres component_start_time_seconds et component_execution_duration_milleseconds.

Métriques JMX

Métriques JMX par défaut
Paramètre Description
jvm_memory_bytes_used Octets utilisés d'une zone de mémoire JVM donnée.
jvm_memory_bytes_committed Octets commités d'une zone de mémoire JVM donnée.
jvm_memory_bytes_max Octets maximum d'une zone de mémoire JVM donnée.
jvm_memory_bytes_init Octets initiaux d'une zone de mémoire JVM donnée.
jvm_start_time_milliseconds Horodatage indiquant l'heure de début du traitement.
jvm_process_cpu_time Temps processeur total utilisateur et système passé, en secondes
jvm_process_cpu_load Utilisation récente du processeur

Les arguments JVM non configurés par défaut peuvent être ajoutés manuellement dans le fichier <RemoteEngineInstallationDirectory>/etc/org.talend.ipaas.rt.observability.cfg avec le paramètre omc.jvm.allowlist=, séparés par une virgule.

Métriques JMX facultatives
Paramètre Description
jvm_memory_pool_allocated_bytes_total Octets totaux alloués à un pool de mémoire JVM (mis à jour uniquement après GC, pas continuellement).
jvm_buffer_pool_used_bytes Octets utilisés d'un pool de mémoire tampon JVM.
jvm_buffer_pool_capacity_bytes Capacité en octets d'un pool de mémoire tampon JVM donné.
jvm_buffer_pool_used_buffers Tampons utilisés d'un pool de mémoire tampon JVM donné.
jvm_memory_pool_bytes_used Octets utilisés d'un pool de mémoire JVM donné.
jvm_memory_pool_bytes_committed Octets commités d'un pool de mémoire JVM donné.
jvm_memory_pool_bytes_max Octets maximum d'un pool de mémoire JVM donné.
jvm_memory_pool_bytes_init Octets initiaux d'un pool de mémoire JVM donné.
jvm_threads_current Nombre de threads actuel de la JVM
jvm_threads_daemon Nombre de threads démon de la JVM
jvm_threads_peak Nombre de threads au pic de la JVM
jvm_threads_started_total Démarrage du compte du nombre de threads de la JVM
jvm_threads_deadlocked Cycles de threads JVM en situation de blocage, en attente d'acquisition de moniteurs d'objets ou d'ownable synchronizers.
jvm_threads_deadlocked_monitor Cycles de threads JVM en situation de blocage, en attente d'acquisition de moniteurs d'objets.
jvm_threads_state Nombre actuel de threads par état
jvm_info Informations relatives à la version de la JVM.
jvm_classes_loaded Nombre de classes chargées dans la JVM.
jvm_classes_loaded_total Nombre total de classes ayant été chargées depuis le début d'exécution de la JVM.
jvm_classes_unloaded_total Nombre total de classes ayant été retirées depuis le début d'exécution de la JVM.
jvm_gc_collection_seconds Temps passé dans un ramasse-miettes JVM donné (en secondes)