Un Talend Remote Engine a toujours été capable d'exécuter des tâches différentes en parallèle. Depuis la version v2.12.0, il supporte également l'exécution parallèle de tâches identiques.
En d'autres termes, vous pouvez exécuter plusieurs instances d'une même tâche en parallèle sur un moteur distant v2.12.0 ou supérieure.
Cette section présente les paramètres à utiliser pour gérer cette fonctionnalité d'exécution parallèle d'un moteur distant unique, que ce moteur fasse partie ou non d'un cluster de moteurs distants.
Avant de commencer
- Assurez-vous que la dernière version du moteur est installée.
- Assurez-vous d'appliquer des techniques de programmation simultanées sur votre Job et son implémentation, afin que votre tâche soit adaptée aux exécutions parallèles, notamment si vous décidez d'activer les exécutions parallèles d'une tâche sur un moteur distant unique. Par exemple, les exécutions parallèles doivent avoir un accès cohérent aux ressources partagées.
Procédure
- Arrêtez votre moteur.
- Parcourez votre système jusqu'au dossier <RemoteEngineInstallationDirectory>/etc.
-
Ouvrez le fichier org.talend.ipaas.rt.deployment.agent.cfg :
Option Description Exécutions parallèles de tâches identiques - Si vous souhaitez activer le support de cette fonctionnalité, assurez-vous de la présence de la ligne suivante :
job.deployment.direct=truePour les moteurs distants v2.12.4 et supérieures, le déploiement direct devient le mode de déploiement par défaut et le seul mode de déploiement utilisé par le moteur. Le paramètre
job.deployment.directassocié est supprimé, puisque vous n'avez plus besoin de le configurer.En même temps, vous devez autoriser les exécutions parallèles de cette tâche, pour tirer parti de la configuration du moteur, c'est-à-dire utiliser l'une des opérations suivantes :Sinon, l'exécution parallèle ne s'applique pas, malgré la configuration du moteur.- Dans Talend Cloud Management Console, sélectionnez l'option Allow parallel execution of this task (Autoriser l'exécution parallèle de cette tâche) lors de la configuration de la tâche.
- Via une API, configurez le paramètre
parallelExecutionAllowedà true lors de l'émission de requêtes pour créer ou mettre à jour des tâches.
Nombre maximal d'exécutions simultanées Par défaut, seules trois exécutions parallèles sont autorisées, qu'elles soient différentes ou identiques.
- Vous pouvez augmenter cette limite afin d'autoriser autant d'exécution parallèles que vous le souhaitez, si vous disposez des ressources nécessaires.
Si vous configurez la limite de tâches simultanées à 0, il n'y a aucune limitation sur le nombre de tâches que vous pouvez exécuter en parallèle sur le moteur distant, si vous disposez des ressources nécessaires.max.deployed.flows=3
Dans un cluster de moteurs distants Lorsqu'un moteur distant a été ajouté à un cluster, les exécutions parallèles de tâches identiques ou différentes sont par défaut étalées à travers le cluster. Cependant, lorsque les tâches à exécuter sont identiques, vous pouvez augmenter les exécutions parallèles sur un seul moteur distant, en configurant le paramètre suivant àtrue:cluster.engine.same.task.parallel.run=true - Si vous souhaitez activer le support de cette fonctionnalité, assurez-vous de la présence de la ligne suivante :
- Redémarrez votre moteur.