Configurer un dashboard de monitoring pour l'API - Cloud

Guide d'utilisation de Talend Cloud Data Inventory

Version
Cloud
Language
Français (France)
Product
Talend Cloud
Module
Talend Data Inventory
Content
Administration et monitoring > Gestion des connexions
Gouvernance de données
Qualité et préparation de données > Enrichissement de données
Qualité et préparation de données > Gestion des jeux de données
Qualité et préparation de données > Identification de données

La tuile d'activité de la fenêtre d'API est limitée aux dix derniers statuts de requêtes. Cependant, lorsqu'une API est activée pour un jeu de données, les métriques sont rassemblées et peuvent être consommées par le dashboard de monitoring de votre choix.

Pour plus d'informations concernant les métriques disponibles, consultez Métriques disponibles pour l'API.

Procédure

  1. Dans votre répertoire Moteur distant Gen2, ajoutez la configuration suivante dans le fichier default/nginx/nginx.conf pour rendre visible l'endpoint de métriques :
    location /metrics {
          proxy_pass http://dataset-api-server/api/v1/metrics;
        }
    Cette configuration peut être ajoutée dans l'élément location /apis du fichier. Par exemple :
    events { }
    http {
      server {
        listen 9102;
    
        location /apis {
          proxy_pass http://dataset-api-server/apis;
        }
    
        location /metrics {
          proxy_pass http://dataset-api-server/api/v1/metrics;
        }
    
      }
    }
  2. Redémarrez votre instance de Moteur distant Gen2 pour appliquer la nouvelle configuration.
  3. Dans le système de monitoring de votre choix, utilisez l'URL suivante avec les bons paramètres afin d'obtenir les métriques pour l'API s'exécutant sur votre Moteur distant Gen2 :
    protocol://remote_engine_host:DATASET_API_SHARING_EXTERNAL_PORT/metrics
    Paramètre Valeur
    Protocole http par défaut, ou https s'il y a une configuration.
    remote_engine_host Hôte sur lequel est installé votre Moteur distant Gen2. Cela est spécifique à votre infrastructure. Si vous ne connaissez pas l'hôte, contactez votre administrateur·trice.
    DATASET_API_SHARING_EXTERNAL_PORT Valeur du paramètre DATASET_API_SHARING_EXTERNAL_PORT dans le fichier default/.env, dans le répertoire Moteur distant Gen2.
  4. Configurez votre système de monitoring selon vos besoins.

    Exemple

    Avec Prometheus, vous pouvez utiliser la configuration suivante. Pour plus d'informations, consultez la documentation Prometheus.

     - job_name: 'dataset_api_sharing'
       scrape_interval: 10s
       metrics_path: /metrics
       static_configs:
        - targets: [ 'localhost:8080' ]

Résultats

Exemples de dashboards Grafana effectuant des requêtes sur des données Prometheus pour l'utilisation de mémoire, le nombre de requêtes par API ou la latence moyenne, par exemple.