Propriétés du tRunJob Standard - Cloud - 8.0

Orchestration (Intégration)

Version
Cloud
8.0
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Composants Orchestration (Intégration)
Gouvernance de données > Systèmes tiers > Composants Orchestration (Intégration)
Qualité et préparation de données > Systèmes tiers > Composants Orchestration (Intégration)
Last publication date
2024-03-04

Ces propriétés sont utilisées pour configurer le tRunJob s'exécutant dans le framework de Jobs Standard.

Le composant tRunJob Standard appartient aux familles Système et Orchestration.

Le composant de ce framework est disponible dans tous les produits Talend.

Avertissement :

Le composant tRunJob est supporté avec certaines limites, ce qui signifie que seuls les cas de support S4 (Minor) sont acceptés et qu'aucun patch n'est fourni. Si vous utilisez le tRunJob dans des Services de données et des Routes (avec le cTalendJob), le support est fourni uniquement sur la base des meilleurs efforts de l'entreprise. Dans la plupart des cas, les problèmes de chargement de classes peuvent parfois être résolus, mais ce n’est pas systématiquement le cas.

La raison est la suivante : le tRunJob n'est pas conçu pour fonctionner dans le style de déploiement des services/Routes (ESB). Le support habituel n'est donc pas fourni si vous décidez de l'utiliser, même si cela fonctionne dans de nombreux cas. Si vous avez utilisé le tRunJob par le passé, il est recommandé de modifier vos Jobs pour utiliser des Joblets à la place.

Pour des cas d'utilisation dans le domaine de l'intégration de données et non dans le domaines de l'ESB, ce composant est un composant très utile dont le support est fourni.

Basic settings

Schema et Edit Schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir uniquement le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs.

    Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

Ce composant offre la fonction de schéma dynamique. Cela vous permet de récupérer des colonnes inconnues de fichiers sources ou de copier des lots de colonnes d'une source sans avoir à mapper chaque colonne individuellement. Pour plus d'informations concernant les schémas dynamiques, consultez Schéma dynamique.

Cette fonctionnalité de schéma dynamique est conçue pour permettre de récupérer des colonnes inconnues d'une table. Il est recommandé de l'utiliser uniquement à cet effet et non pour créer des tables.

 

Built-in : le schéma est créé et conservé localement pour ce composant seulement.

 

Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets.

Copy Child Job Schema

Cliquez sur ce bouton pour récupérer le schéma du Job enfant.

Use dynamic Job

Cochez cette case afin de pouvoir appeler et traiter de nombreux Jobs. Lorsque cette case est cochée, seule la dernière version des Jobs peut être appelée et traitée. Un processus indépendant sera utilisé pour exécuter le sous-Job. Les options Context et Use an independent process to run subJob disparaissent.

Avertissement :
  • L'option Use dynamic job n'est pas compatible avec le cache de Talend JobServer. Il est possible que l'exécution échoue si vous exécutez un Job contenant un tRunjob avec cette case cochée dans Talend Administration Center.
  • Cette option est incompatible avec l'option Use or register a shared DB Connection des composants de base de données. Quand le tRunJob fonctionne de paire avec un composant de connexion à une base de données, activer les deux options fera échouer l'exécution du Job.
  • Cette option n'est pas supportée dans les Routes ou les Services de données ESB.
  • Pour éviter une incompatibilité avec l'intégration continue, il est recommandé de décocher cette case lorsque vous utilisez un tRunJob dans des Joblets.

Context job

Ce champ est visible uniquement lorsque l'option Use dynamic job est cochée. Saisissez le nom du Job que vous souhaitez appeler dans la liste des Jobs sélectionnés.

Job

Sélectionnez le Job à appeler et à traiter. Assurez-vous que le Job appelé ait été exécuté au moins une fois auparavant pour que son exécution via le tRunJob se déroule le mieux possible.

Version

Sélectionnez la version du Job enfant que vous souhaitez utiliser.

Context

Si vous avez défini des contextes et des variables pour le Job à exécuter par ce composant, sélectionnez le contexte applicable dans la liste.

Use an independent process to run subJob

Cochez cette case afin d'utiliser un processus indépendant pour exécuter le sous-Job. Cela vous permettra de résoudre des problèmes liés à la taille limite de la mémoire.

Avertissement :
  • Cette option n'est pas compatible avec le cache de Talend JobServer. Il est possible que l'exécution échoue si vous exécutez un Job contenant un tRunJob avec cette case cochée dans Talend Administration Center.
  • Cette option est incompatible avec l'option Use or register a shared DB Connection des composants de base de données. Quand le tRunJob fonctionne de paire avec un composant de connexion à une base de données, activer les deux options fera échouer l'exécution du Job.

Die on child error

Décochez cette case pour exécuter le Job parent même s'il y a une erreur lors de l'exécution du Job enfant.

Transmit whole context

Cochez cette case pour obtenir les contextes du Job parent. Décochez-la pour obtenir les contextes du Job enfant.

Si cette case est cochée lorsque les Jobs parent et enfant ont les mêmes variables de contexte définies :
  • les valeurs des variables pour le Job parent sont utilisées durant l'exécution du Job enfant si aucune valeur cohérente n'est définie dans la table Context Param.

  • sinon, les valeurs définies dans la table Context Param sont utilisées durant l'exécution du Job enfant.

Context Param

Vous pouvez modifier la valeur des paramètres de contexte sélectionnés. Cliquez sur le bouton [+] pour ajouter les paramètres définis dans l'onglet Context du Job enfant. Pour plus d'informations concernant les paramètres de contexte, consultez Utiliser les contextes et les variables.

Les valeurs définies ici sont utilisées durant l'exécution du Job enfant, même si la case Transmit whole context est cochée.

Advanced settings

Propagate the child result to the output schema Cochez cette case afin de propager les données de sortie stockées dans la mémoire tampon via le composant tBufferOutput du Job enfant vers le composant de sortie du Job parent.

Cette propriété ne prend effet que lorsque des données proviennent d'un composant en entrée comme tFixedFlowInput.

Cette case est décochée par défaut. Elle ne s'affiche pas lorsque vous cochez la case Use dynamic Job ou Use an independent process to run subJob.
Print Parameters Cochez cette case pour afficher les paramètres internes et externes dans la Console.

JVM Setting

Configurez les paramètres de la JVM pour le Job à appeler ou traiter.

  • Use child Job JVM arguments : sélectionnez cette option pour utiliser les arguments JVM du Job enfant.
  • Overwrite child Job JVM arguments : sélectionnez cette option pour utiliser les arguments JVM personnalisés. Pour ajouter un argument personnalisé, cliquez sur le bouton [+] sous JVM et modifiez la ligne ajoutée.

Utilisez un contexte dynamique pour le sous-Job

Sélectionnez cette option pour spécifier un groupe de variables de contexte pour le sous-Job à appeler. Après avoir sélectionné cette option, saisissez un nom de variable dans le champ texte à droite de cette option. Notez que la valeur de la variable doit être le nom d'un groupe de variables contextuelles existant.

Remarque : Cette option est prioritaire sur l'option Context dans la vue Basic settings.

Utilisez un classpath supplémentaire pour le sous-Job

Sélectionnez cette option pour spécifier des classpath supplémentaires pour le sous-Job à appeler. Après avoir sélectionné cette option, saisissez un ou plusieurs classpath dans le champ texte à droite de cette option. Si vous fournissez plusieurs classpath, séparez-les par des ; (sous Windows) ou : (sous Linux).

Remarque : Cette option est disponible lorsque l'option Use dynamic job ou Use an independent process to run subjob est sélectionnée dans la vue Basic settings.
Load context parameters from file

Cochez cette case pour créer un fichier temporaire dans lequel sont écrits les paramètres de contexte utilisés dans le Job. Le Job enfant lit ensuite le fichier temporaire pour récupérer les paramètres de contexte. Le fichier est supprimé à la fin de l'exécution.

L'exécution locale de Spark est le seul mode supporté pour les Jobs Spark Batch et Spark Streaming, car le fichier temporaire est créé sur la machine locale. Le Job distribué ne peut charger le fichier temporaire à partir du noeud client.

Remarque : Cette option est disponible lorsque l'option Use dynamic job ou Use an independent process to run subjob est sélectionnée dans la vue Basic settings.
Statistiques du tStatCatcher Cochez cette case pour collecter les métadonnées de traitement au niveau du Job ainsi qu'au niveau de chaque composant.

Variables globales

Variables globales

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, lorsque le composant contient cette case.

CHILD_RETURN_CODE : code de retour d'un Job enfant. Cette variable est une variable After et retourne un entier.

CHILD_EXCEPTION_STACKTRACE : trace de la pile d'un Job enfant. Cette variable est une variable After et retourne une chaîne de caractères.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. À partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez Utiliser les contextes et les variables.

Utilisation

Règle d'utilisation Ce composant peut être utilisé en Job standalone ou peut aider à clarifier certains Jobs complexes en évitant d'avoir un nombre important de sous-Jobs dans le même Job.

Si vous souhaitez créer un groupe de composants réutilisable à insérer dans plusieurs Jobs ou plusieurs fois dans le même Job, vous pouvez utiliser un Joblet. A la différence du tRunJob, le Joblet utilise les variables de contexte du Job dans lequel il est inséré. Pour plus d'informations concernant les Joblets, consultez Qu'est-ce qu'un Joblet ?.

Ce composant vous permet également d'appeler un Job d'un framework différent, comme un Job Spark Batch Job ou Spark Streaming.

Connections Liens de sortie (de ce composant à un autre) :

Row : Main.

Trigger : OnSubjobOk, OnSubjobError, Run if, OnComponentOk, OnComponentError.

Liens d'entrée (d'un autre composant à celui-ci) :

Row : Main; Reject; Iterate.

Trigger : On Subjob Ok; On Subjob Error; Run if; On Component Ok; On Component Error; Synchronize; Parallelize.

Pour plus d'informations concernant les connexions, consultez Utilisation des connexions dans un Job.