Dans la page Job Conductor de Talend Administration Center, vous définissez une tâche
d'exécution pour regrouper les phases de génération de script, de déploiement et d'exécution
de vos Jobs MapReduce et Spark Batch.
Avant de commencer
-
Vérifié que la machine cliente sur laquelle les Jobs Studio Talendsont exécutés peut reconnaître
les noms d'hôtes des nœuds du cluster Hadoop à utiliser. Dans cet objectif, ajoutez les
mappings des entrées adresse IP/nom d'hôte pour les services de ce cluster Hadoop dans le
fichier hosts de la machine cliente.
Dans ce cas d'utilisation, cette machine est celle sur laquelle
Talend Runtime
est installé.
-
Le cluster Hadoop à utiliser a été correctement configuré et est
en cours d'exécution.
-
L'administrateur du cluster a octroyé les droits d'accès en
lecture/écriture et les autorisations à l’utilisateur accédant aux données
et aux répertoires associés dans HDFS.
-
Vous avez créé les Jobs de cas d'utilisation décrits dans les
sections précédentes et les avez exécutés avec succès depuis le Studio.
Procédure
-
Connectez-vous à Talend Administration Center avec le compte
que vous avez créé dans Configurer votre premier utilisateur et premier projet.
-
Dans la vue Menu de Talend Administration Center, cliquez sur
Job Conductor pour afficher la page
Job Conductor.
-
Dans la barre d'outils de la page Job
Conductor, cliquez sur Add
> Normal Task pour effacer les données du
panneau de configuration Execution
task.
-
Dans le champ Label, saisissez
le nom que vous souhaitez donner à la tâche à déclencher. Par exemple,
getting_started.
-
Cliquez sur l'icône
pour ouvrir un filtre de Job afin de chercher le Job à
exécuter depuis le Job Conductor et
sélectionnez-le dans le filtre en utilisant sa dernière version (Latest).
Une fois que vous avez sélectionné le Job, les champs Project, Branch, Name,
Version et Context sont automatiquement complétés par les informations
relatives au Job sélectionné.
-
Cochez la case Regenerate Job on
change pour regénérer le Job sélectionné avant le déploiement et
l'exécution de la tâche chaque fois qu'une modification est effectuée sur le
Job.
Notez que si vous avez sélectionné la dernière version du Job
(Latest version), lorsqu'une
nouvelle version du Job est créée dans le Studio, ce Job sera regénéré même
si vous n'avez pas coché l'option Regenerate Job on
change.
-
Sélectionnez le serveur sur lequel la tâche doit être
déployée.
-
Cliquez sur Save pour valider
la configuration.
La nouvelle tâche est ajoutée à la liste des tâches.
-
Dans la page Job Conductor,
cliquez sur la tâche getting_started pour la sélectionner
et dans la barre d'outils, cliquez sur Generate pour permettre à la tâche de rechercher le script de
Job approprié dans le projet approprié depuis le Repository du Studio Talend et de générer
le code.
Une fois la génération terminée, le statut de la tâche indique
Ready to deploy (prêt à déployer),
ce qui signifie que le code généré est maintenant prêt à être déployé sur le
serveur d'exécution.
-
Cliquez sur Deploy pour
déployer le Job sur le serveur d'exécution.
Une fois le déploiement terminé, le statut indique Ready to run (prêt à être exécuté). Cela
signifie que le serveur a reçu le Job et que celui-ci est maintenant prêt à
être exécuté.
-
Cliquez sur Run pour exécuter
le Job.
Une fois l'exécution terminée, le statut indique de nouveau
Ready to run (prêt à être exécuté),
ce qui signifie que le Job peut être de nouveau exécuté si nécessaire.
Si la tâche ne s'est pas exécutée correctement, vérifiez la
colonne Error Status ainsi que le log de
la tâche pour obtenir des informations sur l'exécution du Job.
Après cela, vous pouvez vérifier, dans la console Web de votre système
HDFS par exemple, que la sortie a été écrite dans HDFS.