Exécuter des tâches en parallèle sur un moteur distant unique - Cloud

Guide d'utilisation de Talend Remote Engine pour Linux

Version
Cloud
Language
Français (France)
EnrichDitaval
linux
Product
Talend Cloud
Module
Talend Remote Engine
Content
Création et développement
Installation et mise à niveau

Un Talend Remote Engine a toujours été capable d'exécuter des tâches différentes en parallèle. Depuis la version v2.12.0, il supporte également l'exécution parallèle de tâches identiques.

En d'autres termes, vous pouvez exécuter plusieurs instances d'une même tâche en parallèle sur un moteur distant v2.12.0 ou supérieure.

Cette section présente les paramètres à utiliser pour gérer cette fonctionnalité d'exécution parallèle d'un moteur distant unique, que ce moteur fasse partie ou non d'un cluster de moteurs distants.

Avant de commencer

  • Assurez-vous que la dernière version du moteur est installée.
  • Assurez-vous d'appliquer des techniques de programmation simultanées sur votre Job et son implémentation, afin que votre tâche soit adaptée aux exécutions parallèles, notamment si vous décidez d'activer les exécutions parallèles d'une tâche sur un moteur distant unique. Par exemple, les exécutions parallèles doivent avoir un accès cohérent aux ressources partagées.

Procédure

  1. Arrêtez votre moteur.
  2. Parcourez votre système jusqu'au dossier <RemoteEngineInstallationDirectory>/etc.
  3. Ouvrez le fichier org.talend.ipaas.rt.deployment.agent.cfg :
    Option Description
    Exécutions parallèles de tâches identiques
    • Si vous souhaitez activer le support de cette fonctionnalité, assurez-vous de la présence de la ligne suivante :
      job.deployment.direct=true
      Il s'agit du paramètre par défaut.
      En même temps, vous devez autoriser les exécutions parallèles de cette tâche, pour tirer parti de la configuration du moteur, c'est-à-dire utiliser l'une des opérations suivantes :
      • Dans Talend Cloud Management Console, sélectionnez l'option Allow parallel execution of this task (Autoriser l'exécution parallèle de cette tâche) lors de la configuration de la tâche.
      • Via une API, configurez le paramètre parallelExecutionAllowed à true lors de l'émission de requêtes pour créer ou mettre à jour des tâches.
      Sinon, l'exécution parallèle ne s'applique pas, malgré la configuration du moteur.
    Nombre maximal d'exécutions simultanées

    Par défaut, seules trois exécutions parallèles sont autorisées, qu'elles soient différentes ou identiques.

    • Vous pouvez augmenter cette limite afin d'autoriser autant d'exécution parallèles que vous le souhaitez, si vous disposez des ressources nécessaires.
      max.deployed.flows=3
      Si vous configurez la limite de tâches simultanées à 0, il n'y a aucune limitation sur le nombre de tâches que vous pouvez exécuter en parallèle sur le moteur distant, si vous disposez des ressources nécessaires.
    Dans un cluster de moteurs distants Lorsqu'un moteur distant a été ajouté à un cluster, les exécutions parallèles de tâches identiques ou différentes sont par défaut étalées à travers le cluster.
    Cependant, lorsque les tâches à exécuter sont identiques, vous pouvez augmenter les exécutions parallèles sur un seul moteur distant, en configurant le paramètre suivant à true :
    cluster.engine.same.task.parallel.run=true
  4. Redémarrez votre moteur.

Résultats

Vous pouvez commencer à exécuter des tâches sur votre Talend Remote Engine lorsqu'il est à nouveau Available dans Talend Cloud Management Console.