Monitorer des exécutions de Jobs sur des moteurs distants - Cloud

Guide d'utilisation de Talend Remote Engine pour Linux

Version
Cloud
Language
Français
Operating system
Linux
Product
Talend Cloud
Module
Talend Remote Engine
Content
Création et développement
Installation et mise à niveau
Last publication date
2024-02-26

Vous pouvez observer l'exécution de vos Jobs d'intégration de données sur Talend Remote Engine.

Remarque : Cette fonctionnalité requiert la version 2.9.2 de Talend Remote Engine et la version 7.3 R2020-07 ou supérieure du Studio Talend.

Si vos tâches de Jobs sont ordonnancés pour s'exécuter dans Talend Remote Engine version 2.9.2, Talend Management Console peut fournir les données nécessaires à la construction de vos dashboards personnalisés dans le système de monitoring de votre entreprise ou dans un outil de monitoring de performances d'applications, comme ELK, Datadog, Azure Monitor ou Amazon CloudWatch.

Une fois les métriques et le système de collection de logs définis dans Talend Remote Engine et dans votre application de monitoring de performances, vous pouvez concevoir et organiser vos dashboards grâce aux informations envoyées depuis Talend Management Console à l'outil de monitoring de performances d'applications via le moteur.

Par exemple, avec ces données, vous pouvez monitorer dans vos dashboards :
  • le statut des exécutions de Jobs,
  • la disponibilité de Talend Remote Engine,
  • la consommation de ressources (processeur, mémoire, utilisation du disque),
  • la charge de travail (nombre de tâches qui s'exécutent).
Grâce à ses fonctionnalités de monitoring, vous pouvez également configurer des alertes si une erreur survient et optimiser les performances d'exécution des Jobs en comparant la durée et le nombre d'enregistrements traités.

Métriques disponibles

Les métriques et logs supplémentaires suivant·es sont fourni·es par Talend Remote Engine, que vous pouvez intégrer dans votre outil de monitoring de performances des applications.

Logs déjà existants depuis les versions précédentes du moteur distant :
  • Logs d'exécution des Jobs
  • Logs des moteurs distants
Nouveaux logs à partir de Talend Remote Engine v2.9.2 :
  • Logs de gestion des Jobs
  • Métriques de performance et contextes de Jobs, moteurs distants et système d'exploitation
    • Consommation de ressources du système d'exploitation
    • Consommation de ressources et charge de travail du moteur distant
    • Consommation de ressources d'exécution des Jobs (processeur, mémoire)
    • Historique d'exécution des Jobs (notamment informations relatives aux composants, au statut et à la durée)
    • Performances d'exécutions des Jobs (par exemple les enregistrements traités ou rejetés)
Les métriques sont disponibles dans deux formats, accessibles depuis un endpoint HTTP exposé par le moteur distant :
  • fichier JSON générique,
  • format compatible avec Prometheus.

Utiliser la fonctionnalité

Pour commencer à utiliser la fonctionnalité de monitoring, vous devez :
  1. Télécharger et installer la nouvelle version du moteur distant.
  2. Configurer le moteur distant dans votre environnement de développement dans Talend Management Console.
  3. Installer/mettre à jour le Studio Talend en version 7.3 R2020-07 ou supérieure.
  4. Publier à nouveau vos Jobs depuis la nouvelle version du Studio Talend vers Talend Management Console.
  5. Mettez à jour vos tâches pour utiliser la dernière version des Jobs (si ce n'est pas fait automatiquement).
  6. Exécutez vos Jobs.

Configurer une connexion entre l'outil de monitoring de performances des applications et les applications Talend dépend de l'outil que vous utilisez. Vous pouvez accéder à des exemples en anglais sur la page How to configure observability metrics with Talend Cloud - Remote Engine du site Web de la Communauté Talend.