Utilisation des tâches d'exécution - 6.5

Talend Administration Center Guide utilisateur

EnrichVersion
6.5
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend Real-Time Big Data Platform
task
Administration et monitoring
Déploiement
EnrichPlatform
Talend Administration Center

Avertissement

Seuls les utilisateurs ayant le rôle et les droits d'Exploitant (Operation Manager) peuvent avoir un accès à cette page en lecture/écriture. Les autres types d'utilisateurs auront un accès en lecture seule, ou pas d'accès, selon leur rôle. Pour plus d'informations concernant les droits d'accès, consultez Rôles et droits d'accès de l'utilisateur dans Talend Administration Center. Plus tard, lorsqu'un utilisateur de l'Administration Center ouvrira cette page, il n'aura accès qu'aux éléments pour lesquels il s'est vu assigner des droits par l'Administrateur.

Avertissement

Assurez-vous que les serveurs d'exécution sont configurés (l'agent doit être lancé), puis créez les différentes tâches d'exécution que vous souhaitez lancer.

Un Job d'exécution représente un ensemble d'actions que vous pouvez configurer dans Talend Administration Center, afin d'exécuter les Jobs créés dans le Studio Talend directement à partir de Talend Administration Center. Vous pouvez également définir différents types de déclencheurs pour lancer une tâche d'exécution.

Pour accéder à la liste des tâches d'exécution, procédez comme suit :

Dans le menu de navigation, cliquez sur Job Conductor pour afficher la liste des tâches d'exécution à déployer et des Jobs à exécuter sur le serveur distant.

Lorsque vous accédez pour la première fois à cette liste, aucune tâche n'apparaît dans la liste.

Par défaut, la page Job Conductor fournit les informations suivantes :

Colonne

Description

State

Ordre d'exécution des tâches. Les statuts sont : awaiting execution (en attente d'exécution) ou frozen exec (exécution arrêtée).

Note

Pour le statut frozen exec, il faudra relancer manuellement l'exécution.

Avertissement

Si vous dépassez le seuil d'exécutions simultanées (par défaut plus de 10 exécutions en même temps), toutes les exécutions au-dessus du seuil auront le statut awaiting execution.

Pour réinitialiser le seuil selon vos besoins, cherchez le fichier quartz.properties dans vos dossiers d'installation de Talend Administration Center, et modifiez le seuil selon le paramètre suivant :

org.quartz.threadPool.threadCount = 20.

Status

Statut de la tâche courante. Il peut être : Ready to generate, Ready to deploy, Ready to install, Ready to run ou Incomplete configuration.

Error status

Un message d'erreur apparaît si la tâche ne s'exécute pas correctement.

Label

Nom de la tâche à déclencher.

Trigger status

État du déclenchement :

 : No trigger : aucun déclenchement n'a été défini pour cette tâche.

 : Running : le déclenchement est activé et la tâche d'exécution va se lancer.

 : Completed : la tâche est terminée.

 : All triggers paused : le déclenchement a été suspendu et doit être relancé manuellement.

Actions

Actions que vous pouvez effectuer :

: ouvre une fenêtre qui affiche les détails de la dernière exécution de la tâche sélectionnée. Depuis cette fenêtre, vous pouvez visualiser les logs, les valeurs de contexte et les informations avancées de l'exécution de la tâche, ainsi que naviguer entre les différentes exécutions des tâches.

: ouvre l'historique des exécutions de la tâche sélectionnée.

Time left before next triggering

Temps restant avant le prochain déclenchement.

Project

Nom du projet contenant le Job à exécuter.

Branch

Nom de la branche/du tag contenant le Job à exécuter.

Job

Nom du Job à exécuter.

Version

Version du Job comme défini dans le Studio Talend.

Context

Nom du contexte comme défini pour ce Job dans le Studio Talend.

Execution server

Nom du serveur physique sélectionné pour la tâche en cours.

Virtual server

Nom du serveur virtuel, s'il y en a.

Certaines colonnes supplémentaires sont cachées mais vous pouvez les ajouter au tableau. Pour plus d'informations, consultez Personnaliser l'affichage de la liste des tâches.

Ces colonnes supplémentaires contiennent les informations suivantes :

Colonne

Description

Active

La tâche est activée lorsque la case Active correspondante est cochée. Si une tâche est désactivée, elle ne peut être exécutée sur le serveur d'exécution.

CommandLine version

Numéro de révision du CommandLine.

Description

Description saisie lors de la création de la tâche.

Id

Identifiant unique pouvant être utilisé comme paramètre, pour lancer une tâche via un Web Service, par exemple.

idQuartzJob

Identifiant du Job Quartz associé à la tâche correspondante.

Last deployment

Date et heure auxquelles le dernier Job a été déployé.

Last ended run

Date et heure auxquelles la dernière exécution de Job a été effectuée.

Last run

Date et heure auxquelles le dernier Job a été exécuté.

Last script generation

Date et heure auxquelles le dernier script a été généré.

Next triggering on

Date et heure auxquelles le prochain déclenchement a lieu.

SVN revision

Numéro de révision SVN du Job.

Ajouter une tâche d'exécution normale

Le Job Conductor vous permet d'ajouter des tâches d'exécution sur des Jobs qui sont soit basés sur le référentiel SVN/GIT, soit pré-générés par le Studio sous forme de zip, soit déjà publiés dans le référentiel d'artefacts Nexus. Selon vos besoins, reportez-vous à l'une des procédures ci-dessous.

Notez qu'une fois la tâche ajoutée, vous pouvez toujours repasser d'un mode à l'autre.

Si vos souhaitez que votre tâche d'exécution soit basée sur un Job qui n'est pas encore publié sur Nexus, reportez-vous à Ajouter une tâche d'exécution basée sur un artefact.

Ajouter une tâche d'exécution sur un Job basé sur le référentiel SVN/GIT

Note

Les tâches basées sur SVN/GIT sont dépréciées dans Talend Administration Center. Il est recommandé d'ajouter des tâches d'exécution dans un Job publié sur Nexus.

  1. Dans la barre d'outils de la page Job Conductor, cliquez sur Add > Normal Task de la barre d'outils pour afficher le formulaire Execution task.

  2. Renseignez les informations adéquates.

    Champ

    Description

    Label

    Nom de la tâche à déclencher.

    Description

    Toutes informations utiles concernant la tâche à exécuter.

    Active

    Cochez/décochez cette case afin d'activer/désactiver la tâche.

    Job

    Cliquez sur l'icône de sélection des Jobs pour ouvrir la fenêtre de filtre de Jobs et rechercher le Job souhaité. Ceci vous permet de gagner du temps dans la recherche du Job que vous souhaitez exécuter. Pour de plus amples informations, consultez l'exemple qui se trouve sous ce tableau.

    Vous pouvez également associer un fichier zip pré-généré ou un Job publié dans Nexus à votre tâche. Pour plus d'informations, consultez Ajouter une tâche d'exécution sur un Job pré-généré et Ajouter une tâche d'exécution sur un Job déjà publié dans Nexus.

    Project

    Sélectionnez le projet qui contient le Job à exécuter. Si vous avez sélectionné le projet en question dans le filtre de Jobs, ce champ est renseigné automatiquement.

    Branch

    Sélectionnez la branche/le tag SVN/GIT si des branches/tags ont été créés, du projet contenant le Job à exécuter. Si vous avez sélectionné la branche/le tag en question dans le filtre de Jobs, ce champ est renseigné automatiquement. Pour plus d'informations concernant les projets stockés dans SVN ou GIT, consultez Gérer les branches et tags SVN/Git pour un projet.

    Name

    Sélectionnez le Job à exécuter. Si vous avez sélectionné le Job en question dans le filtre de Jobs, ce champ est renseigné automatiquement.

    Depuis ce champ, vous pouvez sélectionner à la fois des Jobs Standard et des Jobs Big Data Batch (Map/Reduce et Spark), selon votre licence. Pour plus d'informations concernant les Jobs Standard et Big Data Batch que vous créez dans le studio, consultez le Guide utilisateur du Studio Talend ainsi que le Guide de prise en main de Talend Big Data Studio.

    Version

    S'il existe plusieurs versions du même Job, sélectionnez la version à exécuter. Sélectionnez Latest version dans la liste, afin d'exécuter automatiquement la dernière version du Job sélectionné. Si vous avez sélectionné la version en question dans le filtre de Jobs, ce champ est renseigné automatiquement.

    Note

    Si vous sélectionnez une version donnée du Job, sauf la dernière, l'exécution du Job sera plus rapide car il n'y a pas besoin de le générer ou de le déployer avant l'exécution. Cependant, lorsque vous sélectionnez Latest version, l'exécution du Job sera plus longue, puisque le Job devra être regénéré et déployé avant l'exécution.

    Context

    Si plusieurs contextes sont disponibles pour le Job sélectionné, sélectionnez le contexte adéquat. Si vous avez sélectionné le contexte en question dans le filtre de Jobs, ce champ est renseigné automatiquement.

    Apply context to children

    Cochez cette case pour appliquer le contexte au Job fils.

    Regenerate Job on change

    Cochez cette case si vous souhaitez regénérer le Job sélectionné avant le déploiement et l'exécution de la tâche, à chaque fois qu'une modification est apportée au Job.

    Cette case n'est utile que si vous avez sélectionné la dernière version du Job pour exécution, puisque les modifications ne seront apportées qu'à la dernière version.

    Avertissement

    Notez que si vous avez sélectionné la dernière version du Job (Latest version), lorsqu'une nouvelle version du Job est créée dans le Studio, ce Job sera regénéré même si vous n'avez pas coché l'option Regenerate Job on change.

    Log4j Level

    Sélectionnez le niveau de log à appliquer à la tâche d'exécution. Les niveaux sont classés par ordre croissant de sévérité, de TRACE (informations les plus détaillées) à OFF (logs désactivés). Pour plus d'informations sur l'activation et la personnalisation de la fonctionnalité log4j depuis le Studio, consultez le Guide utilisateur du Studio Talend.

    Execution server

    Sélectionnez le serveur sur lequel déployer votre tâche.

    Si le serveur n'apparaît pas dans la liste, assurez-vous que le serveur est correctement configuré dans le menu Servers. Pour plus d'informations concernant la configuration des serveurs d'exécution, consultez Configuration des serveurs d'exécution.

    La liste des serveurs d'exécution contient à la fois les serveurs physiques que vous avez configurés manuellement et les serveurs virtuels. Pour plus d'informations concernant les serveurs virtuels, consultez Configuration des serveurs virtuels.

    Run Job as OS user (Unix)

    (Unix uniquement)

    Saisissez le nom de l'utilisateur système autorisé à démarrer l'exécution du Job, root par exemple :

    • Si ce champ est vide, tout utilisateur est autorisé à exécuter le Job. Notez que ces utilisateurs doivent correspondre à des utilisateurs existants dans le Système d'exploitation.

    • Pour restreindre ce droit à des utilisateurs spécifiques, modifiez la liste des utilisateurs autorisés dans le fichier suivant :

      <JobServerInstallationDirectory>/conf/TalendJobServer.properties

    • Vous devez donner le bon umask à votre utilisateur ainsi que des permissions spécifiques sur les répertoires serveur pour utiliser cette fonctionnalité. Pour plus d'informations sur ce prérequis, consultez le Guide d'installation Talend.

    Statistic

    Choisissez d'activer ou non l'option Statistics durant l'exécution de la tâche sélectionnée. L'option Statistics de Talend Administration Center est la même que celle disponible dans le Studio Talend, lorsque vous cochez la case Statistics dans la vue Run. Pour plus d'informations concernant cette option du Studio, consultez le Guide utilisateur du Studio Talend.

    Dans cette liste, sélectionnez :

    -enabled : Il vous permet d'accéder aux statistiques de vos tâches via la page Real time statistics, en cliquant sur le bouton Show statistic view, dans la barre d'outils, ou en ouvrant la fenêtre [Real time statistics] à chaque fois que vous cliquez sur Run pour exécuter une tâche dans Talend Administration Center.

    -disabled : ceci est le mode par défaut. En mode disabled, le bouton Show statistic view est désactivé, ainsi que l'accès à la page Real time statistics. La fenêtre [Real time statistics] ne s'affiche pas lorsque vous exécutez une tâche.

    Pour plus d'informations concernant la fonction Real time Statistics, consultez Collecte des statistiques des exécutions des Jobs.

    Note

    Le champ Statistic n'est disponible que dans certaines éditions de Talend Administration Center.

    Avertissement

    La tâche peut nécessiter d'être générée à nouveau lorsque vous passez d'un mode à l'autre. Dans ce cas, un court texte entre parenthèses est ajouté au mode, pour vous notifier ce besoin.

    On unavailable JobServer

    Cette option fait partie intégrante du processus de failover fourni par Talend. Elle vous permet de choisir quelle action vous souhaitez effectuer sur la tâche sélectionnée, lorsque le serveur est indisponible pendant un laps de temps prédéterminé (défini dans la Ajouter un serveur d'exécution).

    Sélectionnez l'une des actions dans la liste :

    - Wait : si le Job a un statut inconnu, habituellement causé par des problèmes de serveur, cette option met la tâche en pause pendant le temps où le serveur est inaccessible. Lorsque le serveur est de nouveau accessible, la tâche restaurera le statut d'avant le problème.

    - Reset task : si le statut du Job est inconnu, ce qui est habituellement causé par des problèmes de serveur, cette option remet le statut sur Ready to run lorsque le laps de temps prédéfini relatif au Job est écoulé. Cependant, le Job lui-même peut continuer à s'exécuter selon le problème initial.

    - Restart task : si le Job a un statut inconnu, habituellement causé par des problèmes de serveur, cette option lancera automatiquement la tâche dans son état original lorsque le laps de temps prédéfini relatif au Job sera écoulé.

    Note

    L'option Restart task n'est utile que lorsque vous utilisez des serveurs virtuels.

    - Recover task : si le Job a un statut inconnu, habituellement causé par des problèmes de serveur, cette option reprendra automatiquement l'exécution du Job au dernier point de reprise validé.

    Note

    Les paramètres de contexte utilisés lors de la réinitialisation de la tâche, de son redémarrage ou de sa reprise sont les mêmes que ceux utilisés durant la dernière exécution.

    Timeout (s)

    Saisissez le délai d'attente, en secondes, avant que la tâche ne soit arrêtée.

    Par défaut, si aucune valeur n'est saisie dans ce champ, la tâche s'exécute indéfiniment. Cette option peut s'avérer utile si vous souhaiter limiter l'exécution d'une tâche à un temps donné.

    Pause triggers on error

    Cochez cette case afin d'interrompre le(s) déclenchement(s) si une erreur survient lors de l'exécution de la tâche.

    Lors de cette étape, vous pouvez utiliser le filtre de Jobs pour vous aider à trouver le Job à exécuter parmi de nombreux dossiers de Jobs.

    Pour ce faire, cliquez sur le bouton Select Job de la page de configuration. Dans la boîte de dialogue [Select Job from Repository] qui apparaît, sélectionnez le projet, la branche ou le tag, le Job, sa version et son contexte d'exécution selon vos besoins. S'il devient difficile de rechercher un Job en raison d'un trop grand nombre de Jobs dans la liste, vous pouvez saisir le nom du Job souhaité dans le champ de recherche situé en haut de la zone Name.

    La capture suivante présente un exemple d'utilisation du filtre pour retrouver le Job Big Data Batch nommé ProcessWeatherData_MapReduce.

  3. Cliquez sur Save pour valider ou sur Cancel pour annuler la création de la tâche.

    Une fois la tâche créée, vous avez toujours la possibilité de modifier ses propriétés, manuellement ou via l'application MetaServlet. Pour plus d'informations, consultez Modifier une tâche.

Ajouter une tâche d'exécution sur un Job pré-généré

Talend Administration Center vous permet d'associer un fichier .zip pré-généré à une tâche du Job Conductor, omettant ainsi l'étape de génération, afin de s'assurer que le tâche déployée est la même que celle que vous avez précédemment déployée.

Par exemple, si vous avez exécuté une tâche dans un environnement de développement et que vous souhaitez exécuter la même tâche dans votre environnement de production, vous souhaiterez peut-être utiliser cette fonctionnalité.

Pour effectuer cette action via l'application MetaServlet, utilisez la commande associatePreGeneratedJob. Pour plus d'informations concernant les paramètres MetaServlet, consultez Paramètres et actions dans la metaServlet.

Prérequis :

  • Un fichier .zip contenant une tâche spécifique a été généré précédemment par le Studio ou le CommandLine en utilisant la commande buildJob (voir Construire un Job via le CommandLine). La bonne pratique consiste à placer ce fichier dans votre dossier d'archives des Jobs, dont vous avez défini le chemin d'accès dans le nœud Job Conductor de la page Configuration.

    IMPORTANT:

    - lorsque vous exportez votre Job depuis le Studio, vous devez cocher la case items dans la fenêtre [Build Job]. Pour plus d'informations, consultez le Guide utilisateur du Studio Talend ;

    - ce fichier .zip doit contenir un fichier jobInfo.properties à sa racine, qui décrit les caractéristiques du projet et du Job.

    Ces informations sont nécessaires pour que le fichier .zip soit importé sans générer d'erreurs.

  • Un projet ayant le même nom que le projet de développement utilisé pour générer les Jobs a été créé dans la page Projects. Pour plus d'informations, consultez Ajouter un projet.

  • Unix uniquement : Si vous souhaitez exécuter le Job avec un utilisateur système spécifique (option Run Job as OS user), celui-ci doit déjà exister dans le système, il doit avoir le bon umask et des permissions spécifiques doivent être accordées à certains répertoires du serveur. Pour plus d'informations, consultez le Guide d'installation Talend.

  1. Dans la barre d'outils de la page Job Conductor, cliquez sur Add > Normal Task de la barre d'outils pour afficher le formulaire Execution task.

  2. Renseignez les informations adéquates.

    Champ

    Description

    Label

    Nom de la tâche à déclencher.

    Description

    Toute information utile concernant la tâche à exécuter.

    Active

    Cochez/décochez cette case afin d'activer/désactiver la tâche.

    Job

    Cliquez sur l'icône d'import de fichier zip pour ouvrir la fenêtre [Import generated code]. Celle-ci vous permet de récupérer le fichier zip contenant le Job souhaité et de l'associer à la tâche.

    Notez que, lorsque vous exportez votre Job depuis le Studio, vous devez cocher la case items dans la fenêtre [Build Job] afin de pouvoir importer votre Job avec succès sur la page Job Conductor. Pour plus d'informations, consultez le Guide utilisateur du Studio Talend.

    Vous avez également la possibilité d'ajouter une tâche d'exécution sur un Job présent dans le référentiel SVN/GIT ou qui a été publié dans Nexus. Pour plus d'informations, consultez Ajouter une tâche d'exécution sur un Job basé sur le référentiel SVN/GIT et Ajouter une tâche d'exécution sur un Job déjà publié dans Nexus.

    Project

    Ce champ est renseigné automatiquement et est en lecture seule.

    Notez que ce projet doit exister dans Talend Administration Center.

    Branch

    Ce champ est renseigné automatiquement et est en lecture seule. Pour plus d'informations concernant les projets stockés dans SVN ou GIT, consultez Gérer les branches et tags SVN/Git pour un projet.

    Name

    Ce champ est renseigné automatiquement et est en lecture seule.

    Version

    Ce champ est renseigné automatiquement et est en lecture seule.

    Context

    Si vous avez défini plusieurs contextes dans le Studio pour le Job sélectionné, sélectionnez le contexte adéquat dans la liste.

    Apply context to children

    Ce champ est renseigné automatiquement et est en lecture seule. Il peut être configuré lorsque le Job est publié depuis le Studio en tant que Job standalone.

    Regenerate Job on change

    Cochez cette case si vous souhaitez regénérer le Job sélectionné avant le déploiement et l'exécution de la tâche, à chaque fois qu'une modification est apportée au Job.

    Cette case n'est utile que si vous avez sélectionné la dernière version du Job pour exécution, puisque les modifications ne seront apportées qu'à la dernière version.

    Avertissement

    Notez que si vous avez sélectionné la dernière version du Job (Latest version), lorsqu'une nouvelle version du Job est créée dans le Studio, ce Job sera regénéré même si vous n'avez pas coché l'option Regenerate Job on change.

    Log4j Level

    Sélectionnez le niveau de log à appliquer à la tâche d'exécution. Les niveaux sont classés par ordre croissant de sévérité, de TRACE (informations les plus détaillées) à OFF (logs désactivés). Pour plus d'informations sur l'activation et la personnalisation de la fonctionnalité log4j depuis le Studio, consultez le Guide utilisateur du Studio Talend.

    Execution server

    Sélectionnez le serveur sur lequel déployer votre tâche.

    Si le serveur n'apparaît pas dans la liste, assurez-vous que le serveur est correctement configuré dans le menu Servers. Pour plus d'informations concernant la configuration des serveurs d'exécution, consultez Configuration des serveurs d'exécution.

    La liste des serveurs d'exécution contient à la fois les serveurs physiques que vous avez configurés manuellement et les serveurs virtuels. Pour plus d'informations concernant les serveurs virtuels, consultez Configuration des serveurs virtuels.

    Run Job as OS user (Unix)

    (Unix uniquement)

    Saisissez le nom de l'utilisateur système autorisé à démarrer l'exécution du Job, root par exemple :

    • Si ce champ est vide, tout utilisateur est autorisé à exécuter le Job. Notez que ces utilisateurs doivent correspondre à des utilisateurs existants dans le Système d'exploitation.

    • Pour restreindre ce droit à des utilisateurs spécifiques, modifiez la liste des utilisateurs autorisés dans le fichier suivant :

      <JobServerInstallationDirectory>/conf/TalendJobServer.properties

    • Vous devez donner le bon umask à votre utilisateur ainsi que des permissions spécifiques sur les répertoires serveur pour utiliser cette fonctionnalité. Pour plus d'informations sur ce prérequis, consultez le Guide d'installation Talend.

    Statistic

    Ce champ est renseigné automatiquement. Il peut être :

    - enabled (lecture-écriture) si vous avez activé les statistiques lors de la génération du Job ;

    - disabled (lecture-écriture) si vous avez désactivé les statistiques lors de la génération du Job.

    On unavailable JobServer

    Cette option fait partie intégrante du processus de failover fourni par Talend. Elle vous permet de choisir quelle action vous souhaitez effectuer sur la tâche sélectionnée, lorsque le serveur est indisponible pendant un laps de temps prédéterminé (défini dans la Ajouter un serveur d'exécution).

    Sélectionnez l'une des actions dans la liste :

    - Wait : si le Job a un statut inconnu, habituellement causé par des problèmes de serveur, cette option met la tâche en pause pendant le temps où le serveur est inaccessible. Lorsque le serveur est de nouveau accessible, la tâche restaurera le statut d'avant le problème.

    - Reset task : si le statut du Job est inconnu, ce qui est habituellement causé par des problèmes de serveur, cette option remet le statut sur Ready to run lorsque le laps de temps prédéfini relatif au Job est écoulé. Cependant, le Job lui-même peut continuer à s'exécuter selon le problème initial.

    - Restart task : si le Job a un statut inconnu, habituellement causé par des problèmes de serveur, cette option lancera automatiquement la tâche dans son état original lorsque le laps de temps prédéfini relatif au Job sera écoulé.

    Note

    L'option Restart task n'est utile que lorsque vous utilisez des serveurs virtuels.

    - Recover task : si le Job a un statut inconnu, habituellement causé par des problèmes de serveur, cette option reprendra automatiquement l'exécution du Job au dernier point de reprise validé.

    Note

    Les paramètres de contexte utilisés lors de la réinitialisation de la tâche, de son redémarrage ou de sa reprise sont les mêmes que ceux utilisés durant la dernière exécution.

    Timeout (s)

    Saisissez le délai d'attente, en secondes, avant que la tâche ne soit arrêtée.

    Par défaut, si aucune valeur n'est saisie dans ce champ, la tâche s'exécute indéfiniment. Cette option peut s'avérer utile si vous souhaiter limiter l'exécution d'une tâche à un temps donné.

    Pause triggers on error

    Cochez cette case afin d'interrompre le(s) déclenchement(s) si une erreur survient lors de l'exécution de la tâche.

  3. Cliquez sur Save pour valider ou sur Cancel pour annuler la création de la tâche.

    Une fois la tâche créée, vous avez toujours la possibilité de modifier ses propriétés, manuellement ou via l'application MetaServlet. Pour plus d'informations, consultez Modifier une tâche.

Ajouter une tâche d'exécution sur un Job déjà publié dans Nexus

Talend Administration Center vous permet d'ajouter une tâche d'exécution sur un Job publié dans le référentiel d'artefacts Nexus en tant que fichier .zip, omettant ainsi l'étape de génération, afin de s'assurer que le tâche déployée est la même que celle que vous avez précédemment déployée.

Prérequis :

  • Les paramètres de connexion au référentiel d'artefacts Nexus sont renseignés dans le nœud Artifact Repository de la page Configuration. Pour plus d'informations, consultez Configurer les paramètres du référentiel d'artefacts.

  • Le Job que vous souhaitez ajouter a été publié précédemment dans le référentiel d'artefacts Nexus depuis le Studio.

  • Unix uniquement : Si vous souhaitez exécuter le Job avec un utilisateur système spécifique (option Run Job as OS user), celui-ci doit déjà exister dans le système, il doit avoir le bon umask et des permissions spécifiques doivent être accordées à certains répertoires du serveur. Pour plus d'informations, consultez le Guide d'installation Talend.

  1. Dans la barre d'outils de la page Job Conductor, cliquez sur Add > Normal Task de la barre d'outils pour afficher le formulaire Execution task.

  2. Renseignez les informations adéquates.

    Champ

    Description

    Label

    Nom de la tâche à déclencher.

    Description

    Toute information utile concernant la tâche à exécuter.

    Active

    Cochez/décochez cette case afin d'activer/désactiver la tâche.

    Job

    Cliquez sur l'icône d'import de fichier zip pour ouvrir la fenêtre [Select artifact from Nexus repository]. Celle-ci vous permet de récupérer le fichier zip contenant le Job publié et de l'associer à la tâche. Notez que si vous avez mal ou n'avez pas configuré la connexion à Nexus sur la page Configuration, cette icône sera grisée.

    Dans la liste Repository, sélectionnez le référentiel dans lequel le Job a été publié.

    Dans le panneau Browse, parcourez le référentiel jusqu'au Job que vous souhaitez associer à la tâche puis cliquez sur OK pour fermer la fenêtre.

    Vous avez également la possibilité d'ajouter une tâche d'exécution sur un Job présent dans le référentiel SVN/GIT ou sur un Job pré-généré. Pour plus d'informations, consultez Ajouter une tâche d'exécution sur un Job basé sur le référentiel SVN/GIT et Ajouter une tâche d'exécution sur un Job pré-généré.

    Project

    Ce champ est renseigné automatiquement et est en lecture seule.

    Notez que ce projet doit exister dans Talend Administration Center et que vous devez avoir des droits en lecture/écriture sur celui-ci.

    Branch

    Ce champ est renseigné automatiquement et est en lecture seule. Pour plus d'informations concernant les projets stockés dans SVN ou GIT, consultez Gérer les branches et tags SVN/Git pour un projet.

    Name

    Ce champ est renseigné automatiquement et est en lecture seule.

    Version

    Ce champ est renseigné automatiquement et est en lecture seule.

    Context

    Si vous avez défini plusieurs contextes dans le Studio pour le Job sélectionné, sélectionnez le contexte adéquat dans la liste.

    Apply context to children

    Ce champ est renseigné automatiquement et est en lecture seule. Il peut être configuré lorsque le Job est publié depuis le Studio en tant que Job standalone.

    Regenerate Job on change

    Cochez cette case si vous souhaitez regénérer le Job sélectionné avant le déploiement et l'exécution de la tâche, à chaque fois qu'une modification est apportée au Job.

    Cette case n'est utile que si vous avez sélectionné la dernière version du Job pour exécution, puisque les modifications ne seront apportées qu'à la dernière version.

    Avertissement

    Notez que si vous avez sélectionné la dernière version du Job (Latest version), lorsqu'une nouvelle version du Job est créée dans le Studio, ce Job sera regénéré même si vous n'avez pas coché l'option Regenerate Job on change.

    Log4j Level

    Sélectionnez le niveau de log à appliquer à la tâche d'exécution. Les niveaux sont classés par ordre croissant de sévérité, de TRACE (informations les plus détaillées) à OFF (logs désactivés). Pour plus d'informations sur l'activation et la personnalisation de la fonctionnalité log4j depuis le Studio, consultez le Guide utilisateur du Studio Talend.

    Execution server

    Sélectionnez le serveur sur lequel déployer votre tâche.

    Si le serveur n'apparaît pas dans la liste, assurez-vous que le serveur est correctement configuré dans le menu Servers. Pour plus d'informations concernant la configuration des serveurs d'exécution, consultez Configuration des serveurs d'exécution.

    La liste des serveurs d'exécution contient à la fois les serveurs physiques que vous avez configurés manuellement et les serveurs virtuels. Pour plus d'informations concernant les serveurs virtuels, consultez Configuration des serveurs virtuels.

    Run Job as OS user (Unix)

    (Unix uniquement)

    Saisissez le nom de l'utilisateur système autorisé à démarrer l'exécution du Job, root par exemple :

    • Si ce champ est vide, tout utilisateur est autorisé à exécuter le Job. Notez que ces utilisateurs doivent correspondre à des utilisateurs existants dans le Système d'exploitation.

    • Pour restreindre ce droit à des utilisateurs spécifiques, modifiez la liste des utilisateurs autorisés dans le fichier suivant :

      <JobServerInstallationDirectory>/conf/TalendJobServer.properties

    • Vous devez donner le bon umask à votre utilisateur ainsi que des permissions spécifiques sur les répertoires serveur pour utiliser cette fonctionnalité. Pour plus d'informations sur ce prérequis, consultez le Guide d'installation Talend.

    Statistic

    Ce champ est renseigné automatiquement. Il peut être :

    - enabled (lecture-écriture) si vous avez activé les statistiques lors de la génération du Job ;

    - disabled (lecture-écriture) si vous avez désactivé les statistiques lors de la génération du Job.

    On unavailable JobServer

    Cette option fait partie intégrante du processus de failover fourni par Talend. Elle vous permet de choisir quelle action vous souhaitez effectuer sur la tâche sélectionnée, lorsque le serveur est indisponible pendant un laps de temps prédéterminé (défini dans la Ajouter un serveur d'exécution).

    Sélectionnez l'une des actions dans la liste :

    - Wait : si le Job a un statut inconnu, habituellement causé par des problèmes de serveur, cette option met la tâche en pause pendant le temps où le serveur est inaccessible. Lorsque le serveur est de nouveau accessible, la tâche restaurera le statut d'avant le problème.

    - Reset task : si le statut du Job est inconnu, ce qui est habituellement causé par des problèmes de serveur, cette option remet le statut sur Ready to run lorsque le laps de temps prédéfini relatif au Job est écoulé. Cependant, le Job lui-même peut continuer à s'exécuter selon le problème initial.

    - Restart task : si le Job a un statut inconnu, habituellement causé par des problèmes de serveur, cette option lancera automatiquement la tâche dans son état original lorsque le laps de temps prédéfini relatif au Job sera écoulé.

    Note

    L'option Restart task n'est utile que lorsque vous utilisez des serveurs virtuels.

    - Recover task : si le Job a un statut inconnu, habituellement causé par des problèmes de serveur, cette option reprendra automatiquement l'exécution du Job au dernier point de reprise validé.

    Note

    Les paramètres de contexte utilisés lors de la réinitialisation de la tâche, de son redémarrage ou de sa reprise sont les mêmes que ceux utilisés durant la dernière exécution.

    Timeout (s)

    Saisissez le délai d'attente, en secondes, avant que la tâche ne soit arrêtée.

    Par défaut, si aucune valeur n'est saisie dans ce champ, la tâche s'exécute indéfiniment. Cette option peut s'avérer utile si vous souhaiter limiter l'exécution d'une tâche à un temps donné.

    Pause triggers on error

    Cochez cette case afin d'interrompre le(s) déclenchement(s) si une erreur survient lors de l'exécution de la tâche.

  3. Cliquez sur Save pour valider ou sur Cancel pour annuler la création de la tâche.

    Une fois la tâche créée, vous avez toujours la possibilité de modifier ses propriétés, manuellement ou via l'application MetaServlet. Pour plus d'informations, consultez Modifier une tâche.

Ajouter une tâche d'exécution basée sur un artefact

Le Job Conductor vous permet également d'ajouter des tâches d'exécution sur des Jobs récupérés sur le référentiel d'artefacts Nexus au moment de l'exécution, ou pré-publiés via la page Publisher.

Prérequis :

  • Les paramètres de connexion au référentiel d'artefacts Nexus sont renseignés dans le nœud Artifact Repository de la page Configuration. Pour plus d'informations, consultez Configurer les paramètres du référentiel d'artefacts.

  • Le Job que vous souhaitez ajouter a été publié précédemment dans le référentiel d'artefacts Nexus depuis le Studio.

  • Unix uniquement : Si vous souhaitez exécuter le Job avec un utilisateur système spécifique (option Run Job as OS user), celui-ci doit déjà exister dans le système, il doit avoir le bon umask et des permissions spécifiques doivent être accordées à certains répertoires du serveur. Pour plus d'informations, consultez le Guide d'installation Talend.

Ajouter une tâche d'exécution sur un artefact

  1. Dans la barre d'outils de la page Job Conductor, cliquez sur Add > Artifact Task de la barre d'outils pour afficher le formulaire Execution task.

  2. Renseignez les informations adéquates.

    Champ

    Description

    Label

    Nom de la tâche artefact à déclencher.

    Description

    Toutes informations utiles concernant la tâche à exécuter.

    Active

    Cochez/décochez cette case afin d'activer/désactiver la tâche.

    Project

    Sélectionnez le projet qui contient l'artefact à exécuter.

    Branch

    Sélectionnez la branche/le tag SVN/GIT si des branches/tags ont été créés, du projet contenant l'artefact à exécuter. Pour plus d'informations concernant les projets stockés dans SVN ou GIT, consultez Gérer les branches et tags SVN/Git pour un projet.

    Job

    Cliquez sur le bouton Nexus pour ouvrir la fenêtre de filtre [Select artifact from Nexus repository]. Celle-ci vous permet de lier dynamiquement l'artefact du Job et de l'associer à la tâche, cet artefact n'étant récupéré qu'au moment de l'exécution de la tâche.

    Dans la liste Repository, sélectionnez le référentiel dans lequel le Job est publié. Dans le panneau Browse, parcourez le référentiel jusqu'à l'artefact que vous souhaitez lier à la tâche puis cliquez sur OK pour fermer la fenêtre.

    OU:

    Cliquez sur le bouton Publisher pour récupérer la tâche de publication créée depuis la page Publisher, les détails de l'artefact sont alors automatiquement renseignés dans le formulaire. Pour plus d'informations sur les tâches de publication, consultez Utilisation des tâches de publication.

    Snapshot

    Cochez cette case pour exécuter l'artefact en tant que Snapshot.

    Repository

    Référentiel dans lequel est publié l'artefact. Ce champ est renseigné automatiquement.

    Group ID

    Nom du Groupe dans lequel est publié l'artefact. Ce champ est renseigné automatiquement.

    Artifact

    Nom de l'élément d'artefact. Ce champ est renseigné automatiquement.

    Depuis ce champ, vous pouvez sélectionner à la fois des Jobs Standard et des Jobs Big Data Batch (Map/Reduce et Spark), selon votre licence. Pour plus d'informations concernant les Jobs Standard et Big Data Batch que vous créez dans le studio, consultez le Guide utilisateur du Studio Talend ainsi que le Guide de prise en main de Talend Big Data Studio.

    Publish Version

    Version de l'artefact à exécuter. Ce champ est renseigné automatiquement.

    Use Latest Version

    S'il existe plusieurs versions du même artefact, cochez cette case afin d'exécuter automatiquement la dernière version de l'artefact sélectionné.

    Context

    Contexte à appliquer à la tâche d'exécution. Ce champ est renseigné automatiquement.

    Apply context to children

    Ce champ est renseigné automatiquement et est en lecture seule. Il peut être configuré lorsque le Job est publié depuis le Studio en tant que Job standalone.

    Log4j Level

    Niveau de log à appliquer à la tâche d'exécution. Les niveaux sont classés par ordre croissant de sévérité, de TRACE (informations les plus détaillées) à OFF (logs désactivés). Pour plus d'informations sur l'activation et la personnalisation de la fonctionnalité log4j depuis le Studio, consultez le Guide utilisateur du Studio Talend.

    Execution server

    Sélectionnez le serveur sur lequel déployer votre tâche.

    Si le serveur n'apparaît pas dans la liste, assurez-vous que le serveur est correctement configuré dans le menu Servers. Pour plus d'informations concernant la configuration des serveurs d'exécution, consultez Configuration des serveurs d'exécution.

    La liste des serveurs d'exécution contient à la fois les serveurs physiques que vous avez configurés manuellement et les serveurs virtuels. Pour plus d'informations concernant les serveurs virtuels, consultez Configuration des serveurs virtuels.

    Run Job as OS user (Unix)

    (Unix uniquement)

    Saisissez le nom de l'utilisateur système autorisé à démarrer l'exécution du Job, root par exemple :

    • Si ce champ est vide, tout utilisateur est autorisé à exécuter le Job. Notez que ces utilisateurs doivent correspondre à des utilisateurs existants dans le Système d'exploitation.

    • Pour restreindre ce droit à des utilisateurs spécifiques, modifiez la liste des utilisateurs autorisés dans le fichier suivant :

      <JobServerInstallationDirectory>/conf/TalendJobServer.properties

    • Vous devez donner le bon umask à votre utilisateur ainsi que des permissions spécifiques sur les répertoires serveur pour utiliser cette fonctionnalité. Pour plus d'informations sur ce prérequis, consultez le Guide d'installation Talend.

    Statistic

    Ce champ est renseigné automatiquement et est en lecture seule. Il peut être :

    - enabled (lecture-écriture) si vous avez activé les statistiques lors de la génération du Job ;

    - disabled (lecture-écriture) si vous avez désactivé les statistiques lors de la génération du Job.

    On unavailable JobServer

    Cette option fait partie intégrante du processus de failover fourni par Talend. Elle vous permet de choisir quelle action vous souhaitez effectuer sur la tâche sélectionnée, lorsque le serveur est indisponible pendant un laps de temps prédéterminé (défini dans la Ajouter un serveur d'exécution).

    Sélectionnez l'une des actions dans la liste :

    - Wait : si le Job a un statut inconnu, habituellement causé par des problèmes de serveur, cette option met la tâche en pause pendant le temps où le serveur est inaccessible. Lorsque le serveur est de nouveau accessible, la tâche restaurera le statut d'avant le problème.

    - Reset task : si le statut du Job est inconnu, ce qui est habituellement causé par des problèmes de serveur, cette option remet le statut sur Ready to run lorsque le laps de temps prédéfini relatif au Job est écoulé. Cependant, le Job lui-même peut continuer à s'exécuter selon le problème initial.

    - Restart task : si le Job a un statut inconnu, habituellement causé par des problèmes de serveur, cette option lancera automatiquement la tâche dans son état original lorsque le laps de temps prédéfini relatif au Job sera écoulé.

    Note

    L'option Restart task n'est utile que lorsque vous utilisez des serveurs virtuels.

    - Recover task : si le Job a un statut inconnu, habituellement causé par des problèmes de serveur, cette option reprendra automatiquement l'exécution du Job au dernier point de reprise validé.

    Note

    Les paramètres de contexte utilisés lors de la réinitialisation de la tâche, de son redémarrage ou de sa reprise sont les mêmes que ceux utilisés durant la dernière exécution.

    Timeout (s)

    Saisissez le délai d'attente, en secondes, avant que la tâche ne soit arrêtée.

    Par défaut, si aucune valeur n'est saisie dans ce champ, la tâche s'exécute indéfiniment. Cette option peut s'avérer utile si vous souhaiter limiter l'exécution d'une tâche à un temps donné.

    Pause triggers on error

    Cochez cette case afin d'interrompre le(s) déclenchement(s) si une erreur survient lors de l'exécution de la tâche.

  3. Cliquez sur Save pour valider ou sur Cancel pour annuler la création de la tâche.

    Une fois la tâche créée, vous avez toujours la possibilité de modifier ses propriétés, manuellement ou via l'application MetaServlet. Pour plus d'informations, consultez Modifier une tâche.

Organiser les tâches d'exécution

Modifier une tâche

Pour modifier une tâche :

  1. A partir de la page Job Conductor, sélectionnez la tâche que vous souhaitez modifier. Ses informations sont affichées dans le formulaire Execution task.

  2. Modifiez les informations, si nécessaire.

  3. Cliquez sur Save pour valider les changements ou sur Cancel pour les annuler.

    Notez que vous pouvez également modifier une tâche (nom, valeurs de contexte, fichier .zip du Job, etc.) via l'application MetaServlet en utilisant la commande updateTask. Pour plus d'informations concernant les paramètres MetaServlet, consultez Paramètres et actions dans la metaServlet.

Dupliquer une tâche

Afin d'éviter de créer une tâche à partir de rien, vous pouvez en dupliquer une et modifier ses métadonnées, afin de créer une nouvelle tâche dans la liste. Cette option est disponible uniquement pour les tâches normales qui sont ajoutées dans un Job basé sur un référentiel SVN ou Git.

Pour dupliquer une tâche :

  1. A partir de la page Job Conductor, sélectionnez la tâche que vous souhaitez dupliquer.

  2. Dans la barre d'outils, cliquez sur Duplicate. Le formulaire de droite affiche les métadonnées de la tâche sélectionnée.

    Avertissement

    Le bouton Duplicate est cliquable uniquement pour les tâches normales qui sont ajoutées dans un Job basé sur un référentiel SVN ou Git. Si vous sélectionnez une tâche d'artefact ou une tâche normale ajoutée dans un Job pré-généré ou publié sur Nexus, le bouton Duplicate est grisé.

  3. Modifiez les informations, si nécessaire afin de créer une nouvelle tâche.

  4. Cliquez sur Save pour valider les changements ou sur Cancel pour les annuler.

    La nouvelle tâche s'affiche dans la liste Execution task.

Supprimer une tâche

Pour supprimer une tâche de la liste des tâches, suivez la procédure ci-dessous.

Pour effectuer cette action via l'application MetaServlet, utilisez la commande deleteTask. Pour plus d'informations concernant les paramètres MetaServlet, consultez Paramètres et actions dans la metaServlet.

  1. Dans la page Job Conductor, sélectionnez la tâche que vous souhaitez supprimer. Ses informations sont affichées dans le formulaire Execution task.

  2. Dans la barre d'outils, cliquez sur Delete. Une boîte de dialogue de confirmation apparaît.

  3. Cliquez sur OK pour supprimer la tâche.

Rechercher une tâche

Si vous avez un nombre important de tâches et souhaitez les filtrer, vous pouvez le faire en saisissant des mots-clés ou en cochant certaines options dans les champs Filters des colonnes listées ci-dessous :

  • Active

  • Branch

  • CommandLine version

  • Context

  • Description

  • Error status

  • Label

  • Last deployment

  • Last ended run

  • Last run

  • Last script generation

  • Name

  • Next triggering on

  • Project

  • Server

  • Status

  • SVN revision

  • Version

  • Virtual server

Exemple de filtre sur le nom de plusieurs tâche(s) (colonne Label)

  1. Cliquez sur la flèche de la colonne Label pour faire apparaître ses options, puis cochez l'option Filters.

  2. Saisissez le nom par lequel vous souhaitez filtrer les tâches. Ici, le texte customer_data est utilisé pour afficher uniquement les tâches dont le nom comprend ces termes.

    La colonne filtrée apparaît en gras et en bleu. Pour retirer le filtre, décochez l'option Filters de cette colonne.

    Pour retirer tous les filtres et réinitialiser la page, cliquez sur l'icône de rouage à droite de la barre d'outils.

Personnaliser l'affichage de la liste des tâches

Vous pouvez trier la liste des tâches en fonction de plusieurs critères. Vous pouvez aussi afficher ou masquer une ou plusieurs colonnes de la liste.

  1. A partir de la page Job Conductor, sélectionnez la colonne adéquate et cliquez sur la flèche vers le bas.

  2. Dans la liste déroulante, sélectionnez :

Élément

pour...

Sort Ascending

Trier la liste par ordre croissant.

Sort Descending

Trier la liste par ordre décroissant.

Columns

Afficher une liste déroulante contenant la liste des colonnes disponibles. Cochez les cases que vous souhaitez afficher et décochez les cases que vous souhaitez masquer.

Group by this field

Regrouper la liste en fonction de la colonne sélectionnée.

Show in groups

Afficher la liste en groupe.

La figure suivante affiche la liste déroulante des options de triage de la liste.

Une fois la liste triée, vos préférences (filtres, ordre ou largeur des colonnes) sont enregistrées même après rafraîchissement de la page. Pour réinitialiser la page, vous devez cliquer sur l'icône de rouage à droite de la barre d'outils.

Rafraîchir la liste des tâches

La liste des tâches est rafraîchie automatiquement, cependant vous pouvez forcer un rafraîchissement simplement en cliquant sur le bouton Refresh.

Programmer une tâche

Vous pouvez programmer une tâche à un moment donné ou lors d'un événement précis à l'aide de déclenchements basés sur un horaire ou sur un fichier.

Une programmation horaire peut être liées à un déclenchement simple ou un déclenchement via l'interface utilisateur CRON en fonction de la manière dont vous voulez que votre tâche soit exécutée, c'est-à-dire à un moment donné ou de manière régulière sur une période donnée.

Vous pouvez aussi programmer une tâche en fonction d'un fichier. En effet, la présence d'un fichier dans un répertoire donné déclenchera la tâche d'exécution de votre Job.

Ou vous pouvez aussi programmer une tâche à partir d'un service Web.

A partir de la page Job Conductor, cliquez sur le nom de la tâche que vous souhaitez programmer, puis sélectionnez le déclenchement adéquat.

Notez que si vous paramétrez plusieurs types de déclenchements, le premier déclenchement qui sera vérifié, sera exécuté.

Pour plus d'informations concernant ces déclenchements, consultez :

Reprendre la dernière exécution d'une tâche

Depuis la page Job Conductor, vous pouvez ouvrir la page Error recovery management, conçue pour permettre la reprise des Jobs en erreur. Elle affiche les informations graphiques et analytiques de l'exécution du Job. Pour accéder à la page Error recovery management, procédez comme suit :

  1. Dans la page Job Conductor, sélectionnez la tâche que vous souhaitez reprendre.

  2. Dans la barre d'outils, cliquez sur le bouton Recover last execution.

La page Error recovery managment s'ouvre. Notez que, à ce moment, la page affiche uniquement les informations concernant la dernière exécution de la tâche sélectionnée.

Pour voir les détails des exécutions précédentes, vous devez accéder à la page via Task executions monitoring. Pour des informations détaillées à ce sujet et à propos de la page Error recovery management, consultez Accéder à la page Error recovery Management.

Pour en savoir plus sur les bonnes pratiques à suivre en cas d'échec de génération d'un Job dans Talend Administration Center, consultez Talend Help Center (https://help.talend.com).

Accéder à la liste des exécutions d'une tâche

Pour monitorer toutes les exécutions d'une tâche donnée, procédez comme suit :

  1. Dans la page Job Conductor, sélectionnez la tâche que vous souhaitez monitorer.

  2. Dans la colonne Actions, cliquez sur l'icône Show execution history.

    La page Task execution monitoring s'ouvre, et un filtre est appliqué sur la tâche que vous avez sélectionnée.

Pour monitorer les exécutions de toutes les tâches, cliquez sur le bouton Disable filters dans la barre d'outils.

Pour plus d'informations sur le monitoring d'exécution des tâches, consultez Monitoring de l'exécution des tâches.