Activer le monitoring de Jobs sur les moteurs distants - Cloud

Guide d'utilisation de Talend Remote Engine pour Linux

Version
Cloud
Language
Français
Operating system
Linux
Product
Talend Cloud
Module
Talend Remote Engine
Content
Création et développement
Installation et mise à niveau
Last publication date
2024-02-26

Avant de commencer

  • Le Studio Talend en version 7.3 R2020-07 ou supérieure est installé mais ne s'exécute pas.
  • Le Talend Remote Engine en version 2.9.2 ou supérieure est créé, installé et appairé dans votre compte Talend Management Console.
  • Évitez de déployer Talend Remote Engine avec Docker dans un cluster Kubernetes, car le moteur distant ne supporte pas ce type de déploiement conteneurisé pour la fonctionnalité de monitoring de Jobs.
  • Assurez-vous de l'utilisation d'un dossier dédié pour les dossiers data et etc de votre moteur. Ces dossiers stockent les fichiers de configuration d'un moteur distant. Utiliser un dossier dédié pour les fichiers de configuration les empêche d'être verrouillés en lecture seule ou d'être modifiés simultanément par plusieurs processus.

Procédure

  1. Ouvrez le fichier <RemoteEngineInstallationDirectory>/etc/org.talend.ipaas.rt.observability.cfg afin de le modifier.
  2. Activez les paramètres suivants en configurant leur valeur à true :

    Notez que, dans ces paramètres, omc signifie Observability Metrics Collector (Collecteur des métriques d'observabilité).

    • omc.re.enabled=true : les métriques du moteur distant sont activées
    • omc.oshi.enabled=true : les métriques du système d'exploitation complet sont activées
    • omc.apm.enabled=true : l'appender APM est activé
    • omc.appender.prometheus.enabled=true : l'appender de métriques pour le format Prometheus est activé
    Les trois paramètres suivants sont en lecture seule :
    • omc.enabled=true : la propriété principale est activée pour assurer que le mécanisme complet des métriques fonctionne
    • omc.jobs.enabled=true:  la propriété est activée pour collecter les métriques des Jobs
    • omc.appender.rest.enabled=true : l'appender de métriques pour le format REST HTTP est activé
  3. Configurez le paramètre omc.push.frequency_ms avec la valeur souhaitée.
    Le paramètre de fréquence de push définit la fréquence à laquelle les composants du moteur distant produisent leurs métriques. Améliorez sa valeur pour envoyer des métriques à l'application de monitoring des performances moins souvent, ou diminuez-la pour un monitoring plus précis.
  4. Facultatif : Selon la licence que vous possédez, les métriques peuvent être affichées par défaut dans la page Run overview (Vue d'ensemble des exécutions) dans Talend Management Console.
  5. Sauvegardez le fichier.
  6. Ouvrez le fichier <RemoteEngineInstallationDirectory>/etc/org.talend.observability.omc.cache.apm.cfg pour le modifier.
  7. Configurez le paramètre timeToLiveMilliseconds à la valeur souhaitée (en millisecondes).

    Le temps durant lequel conserver les métriques dans le collecteur Observability Metrics Collector (OMC) se base sur la fréquence de push.

    La valeur par défaut est 1000. Augmenter cette valeur augmente le temps de disponibilité des métriques, qui doit toujours être supérieur à la fréquence de push.
  8. Si nécessaire, configurez le paramètre timeToLiveMargin pour vous assurer de la continuité lorsqu'un composant rencontre une erreur ou un ralentissement inattendu·e.
    La valeur par défaut du paramètre, 5 millisecondes, peut être modifiée. Il est cependant déconseillé de la modifier, pour des raisons de sécurité.
  9. Sauvegardez le fichier.
  10. Facultatif : Vous pouvez également activer des informations contextuelles relatives aux Jobs dans le fichier <RemoteEngineInstallationDirectory>/etc/org.talend.ipaas.rt.observability.jobContextConfig.cfg en configurant les paramètres à true.

    Exemple

    karaf/workspaceName=true
    karaf/environmentId=false
    karaf/environmentName=true
    karaf/environmentVersion=true
    karaf/clusterId=false
    karaf/clusterName=false
    karaf/planExecutionId=false
    karaf/planId=false
    karaf/planName=false
    karaf/planStepExecutionId=false
    karaf/planStepId=false
    karaf/planStepName=false
    karaf/triggerTimestamp=false
    karaf/artifactName=true
    karaf/artifactVersion=true
    karaf/taskName=true
    karaf/taskVersion=true
    karaf/compatibilityVersion=true
    karaf/runType=false
    karaf/countOfAttempts=false
  11. Sauvegardez le fichier.
  12. Démarrez le moteur distant.
    Vous pouvez également configurer l'accès distant au moteur en suivant les instructions dans Activer l'accès à distance à l'aide du protocole HTTP (facultatif).

    Selon la licence que vous possédez, les métriques peuvent être affichées par défaut dans la page Run overview (Vue d'ensemble des exécutions) dans Talend Management Console.

Que faire ensuite

Pour valider que la fonctionnalité de monitoring est activée, saisissez bundle:list dans la console. Toutes les entrées Observability Metrics Collector doivent avoir le statut Active.
Capture d'écran présentant toutes les entrées du Collecteur des métriques d'observabilité ayant le statut Active dans la console.