Dans la page Job Conductor de Talend Administration Center, vous définissez une tâche d'exécution pour regrouper les phases de génération de script, de déploiement et d'exécution de vos Jobs MapReduce et Spark Batch.
Avant de commencer
-
Le cluster Databricks à utiliser a été correctement configuré et est en cours de fonctionnement.
-
Vous avez créé les Jobs de cas d'utilisation décrits dans les sections précédentes et les avez exécutés avec succès depuis le Studio.
Procédure
-
Cliquez sur l'icône
pour ouvrir un filtre de Job afin de chercher le Job à exécuter depuis le Job Conductor et sélectionnez-le dans le filtre en utilisant sa dernière version (Latest).
Par exemple, cela peut être le Job Spark Batch décrit dans Fusionner les informations relatives aux films et aux cinéastes à l'aide d'un Job Apache Spark Batch.
Une fois que vous avez sélectionné le Job, les champs Project, Branch, Name, Version et Context sont automatiquement complétés par les informations relatives au Job sélectionné.
-
Cliquez sur Run pour exécuter le Job.
Une fois l'exécution terminée, le statut indique de nouveau Ready to run (prêt à être exécuté), ce qui signifie que le Job peut être de nouveau exécuté si nécessaire.
Vérifiez la colonne Error Status si la tâche ne s'est pas exécutée correctement, ainsi que le log de la tâche pour les informations sur l'exécution du Job.
Cela fait, vous pouvez vérifier, par exemple dans Microsoft Azure Storage Explorer, que la sortie a été écrite dans un système de stockage ADLS.
