Quels sont les pipelines en cours d'exécution sur mon moteur ? - Cloud

Guide de démarrage rapide de Talend Moteur distant Gen2
Version
Cloud
Language
Français
Product
Talend Cloud
Module
Talend Management Console
Talend Pipeline Designer
Content
Déploiement > Déploiement > Exécution de Pipelines
Installation et mise à niveau
Last publication date
2024-01-25

Vous souhaitez voir quels pipelines/quelles préparations s'exécutent sur votre Moteur distant Gen2.

Dépannage 1 : Mappez le port Livy 80 à un port externe pour accéder à l'interface Web de Livy

Procédure

  1. Exécutez la commande suivante pour arrêter le Moteur distant Gen2 :
    remote-engine.bat stop si vous utilisez un système Windows
    ./remote-engine.sh stop si vous utilisez un système Unix
  2. Ouvrez le fichier suivant situé dans le répertoire du moteur :
    default/docker-compose.yml si vous utilisez le moteur dans les régions AWS USA, AWS Europe, AWS Asie-Pacifique ou Azure.

    eap/docker-compose.yml si vous utilisez le moteur au sein du programme Early Adopter Program.

  3. Ajoutez ceci dans la section livy (8001 est utilisé en tant qu'exemple de port, vous pouvez utiliser tout port disponible) : 
    ports:
	- 8001:80/tcp
  4. Sauvegardez vos modifications et redémarrez le moteur pour qu'elles soient prises en compte.
  5. Accédez à l'interface d'utilisation de Livy avec votre navigateur : http://localhost:8001/ui

    Vous devriez voir les pipelines/préparations (appelés sessions batch dans Livy) en cours d'exécution, ainsi que leurs exécutions précédentes avec leurs statuts de fin (succès, échec, arrêté·e) et leurs logs.

  6. Exécutez la commande suivante pour voir les logs Livy relatifs aux pipelines/préparations exécuté·es en temps réel : 
    docker logs -f remote-engine_livy_1

Cause

Un port de réseau dynamique commençant par 4040 est assigné à chaque pipeline/préparation en cours d'exécution. En fonction du nombre d'exécutions concurrentes, une large variété de ports commençant par 4040 peut être exposée dans la section livy du fichier docker-compose.yml pour permettre l'accessibilité de l'interface Web de Spark depuis l'hôte en cours d'exécution.

Dépannage 2 : Exposez les ports de l'interface Web de Spark pour voir les plans d'exécution des Pipelines Spark exécutés sur le moteur

Procédure

  1. Exécutez la commande suivante pour arrêter le Moteur distant Gen2 :
    remote-engine.bat stop si vous utilisez un système Windows
    ./remote-engine.sh stop si vous utilisez un système Unix
  2. Ouvrez le fichier docker-compose.yml et ajoutez ce qui suit à la section livy (exemple pour voir l'interface Spark de trois pipelines/préparations concurrent·es en cours d'exécution) : 
    ports:
	- 4040:4040/tcp
	- 4041:4041/tcp
	- 4042:4042/tcp