Exécuter plusieurs sous-Jobs en parallèle - Cloud - 7.3

Guide d'utilisation du Studio Talend

Version
Cloud
7.3
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement
Last publication date
2024-02-13

La fonctionnalité Multi thread execution vous permet d'exécuter en parallèle différents sous-Jobs actifs dans l'espace de modélisation.

Un Job ouvert dans l'espace de modélisation graphique peut contenir plusieurs sous-Jobs et vous pouvez personnaliser leur ordre d'exécution à l'aide des liens de déclenchement (Trigger), comme le lien OnSubjobOk. Cependant, il est possible de lancer les sous-Jobs n'ayant aucune dépendance entre eux en même temps. Par exemple, l'image suivante présente quatre sous-Jobs au sein d'un même Job sans aucune dépendance entre eux.

Plusieurs composants tRunJob sont utilisés dans cet exemple. Chacun appelle le sous-Job qu'il représente.

Une fois le Job ouvert dans l'espace de modélisation graphique, procédez comme suit pour exécuter les sous-Jobs en parallèle :

Procédure

  1. Cliquez sur l'onglet Job puis sur l'onglet Extra.
  2. Cochez la case Multi thread execution pour activer l'exécution parallèle.
    Cette fonctionnalité est optimale lorsque le nombre de processus (en général un sous-Job compte pour un processus) ne dépasse pas le nombre de processeurs de l'ordinateur utilisé pour ces exécutions parallèles. Sinon, certains des sous-Jobs devront attendre qu’un processeur soit libre.
  3. Si nécessaire, saisissez dans le champ Parallelize Buffer Unit Size le nombre de lignes que vous souhaitez mettre en mémoire tampon pour chaque thread géré, avant le traitement des données et le nettoyage de la mémoire tampon.
    Ce paramètre est utile uniquement si la case Enable parallel execution est cochée et que les Jobs enfant ou sous-Jobs contiennent des composants de sortie de base(s) de données.
    Pour un cas d'utilisation de la fonctionnalité Exécution en multi thread pour exécuter des Jobs en parallèle, consultez .