Écrire des données en parallèle - Cloud - 8.0

Guide d'utilisation du Studio Talend

Version
Cloud
8.0
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement
Last publication date
2024-03-06
L'écriture de données en parallèle fait référence au concept d'accélération de l'exécution d'un Job grâce à la division du flux de données en multiples fragments pouvant être écrits simultanément.

Pourquoi et quand exécuter cette tâche

Notez que lorsque l'exécution parallèle est activée, il n'est pas possible d'utiliser les variables globales pour retrouver les valeurs de retour dans un sous-Job.

L'onglet Advanced settings de tous les composants de sortie de bases de données inclut l'option Enable parallel execution permettant d'améliorer le processus de traitement de données en les divisant en plusieurs fragments de flux traités simultanément.

Vue Advanced settings (Paramètres avancés).

Lorsque vous cochez la case Enable parallel execution, un champ Number of parallel executions apparaît dans lequel vous pouvez saisir le nombre N de fragments par lequel vous souhaitez que le flux de données soit divisé.

Les données traitées sont alors exécutées en N fragments et pourront s'exécuter N fois plus vite qu'un traitement de données en un seul fragment.

Vous pouvez aussi configurer la parallélisation de flux de données à partir de l'espace de modélisation de la perspective Integration . Pour cela :

Procédure

  1. Cliquez-droit sur le composant de sortie de base de données de votre Job et sélectionnez Parallelize dans la liste déroulante pour afficher une boîte de dialogue.
  2. Cochez la case Enable parallel execution et saisissez le nombre d'exécutions parallèles dans le champ correspondant. Sinon, appuyez sur Ctrl+Espace et sélectionnez dans la liste la variable de contexte adéquate.
    Boîte de dialogue permettant d'activer l'exécution parallèle.
  3. Cliquez sur OK pour valider les paramètres de parallélisation du flux de données.
    Le nombre d'exécution en parallèle apparaît à côté du composant de sortie de base de données dans l'espace de modélisation.