Créer des tâches de Jobs - Cloud

Guide d'utilisation de Talend Cloud Management Console

Version
Cloud
Language
Français (France)
Product
Talend Cloud
Module
Talend Management Console
Content
Administration et monitoring > Gestion des projets
Administration et monitoring > Gestion des utilisateurs
Déploiement > Déploiement > Exécution de Pipelines
Déploiement > Déploiement > Exécution de Tâches
Déploiement > Ordonnancement > Ordonnancement de Tâches

Les tâches des Jobs sont des processus d'intégration exécutables contenant un artefact de Job publié à partir de Studio Talend.

Si des contextes ont été définis pour cet artefact de Job dans le Studio, le contexte par defaut est automatoqurment publié avec l'artefact du Job. Pour les règles recommandées relatives à la définition de ces contextes dans le Studio, consultez Utiliser les contextes et les variables.

Les valeurs dans cette configuration de contexte sont effacées dans les fichiers exportés, pour des raisons de sécurité. Vous devez saisir les valeurs de contexte à nouveau, dans Talend Cloud Management Console.

Avant de commencer

  • Vous devez avoir l'autorisation Author sur l'espace de travail où se situe la tâche, pour créer une tâche de Job.
  • Vous devez avoir l'autorisation Execute sur l'espace de travail pour configurer un délai avant expiration d'exécution de la tâche ou pour exécuter une tâche de Job.

Pourquoi et quand exécuter cette tâche

Vous avez la possibilité de sauvegarder la tâche en tant que brouillon à chaque étape du processus de création. Si vous sauvegardez une tâche incomplète, son type Run type (Type d'exécution) sera Not defined (Non défini).

Procédure

  1. Ouvrez la page Management.
  2. Allez dans l'onglet Tasks (Tâches).
  3. Sélectionnez l'environnement et l'espace de travail à l'aide de la recherche à facettes en haut de la page.
  4. Cliquez sur Add task (Ajouter une tâche).
  5. Dans l'étape Artifact (Artefact), sélectionnez le type d'artefact Job.
  6. Sélectionnez l'artefact à exécuter dans la liste déroulante.
    Les paramètres et la description de l'artefact apparaissent.
  7. Sélectionnez la version de l'artefact à utiliser dans la tâche.

    Vous pouvez sélectionner Always use the latest available artifact version si vous souhaitez mettre à jour votre tâche automatiquement chaque fois qu'une nouvelle version de l'artefact est publiée. Vous pouvez également sélectionner une version spécifique et la mettre à jour manuellement, selon vos besoins.

    Remarque : Cette option écrase l'option Update corresponding job task dans Studio Talend.
    Les paramètres et la description de l'artefact sont actualisés automatiquement.
  8. Facultatif : Cochez la case Override parameter values with artifact defaults.
    Cette option est disponible uniquement si vous sélectionnez Always use the latest available artifact version dans le champ Artifact version. Si vous la sélectionnez, les paramètres définis dans la tâche sont remplacés par les paramètres d'artefacts par défaut à chaque nouvelle version de l'artefact publiée.
  9. Sélectionnez l'espace de travail pour la tâche.
  10. Nommez la nouvelle tâche.
    Par défaut, le nom de la tâche est le nom de l'artefact depuis lequel elle est créée.
    Remarque : Les tâches doivent avoir un nom unique au sein de l'espace de travail.
  11. Facultatif : Ajoutez un mot-clé à la tâche.
    1. Sélectionnez dans la liste déroulante un mot-clé existant.
    2. Créez un nouveau mot-clé en saisissant son nom et en cliquant dessus dans la liste déroulante.
  12. Cliquez sur Continue.
  13. Dans l'étape Parameters, saisissez la valeur pour les paramètres du Job.
    Dans cette étape, lorsque l'option Show order as in Studio (Afficher le même ordre que dans le Studio) est désactivée, vous pouvez seulement définir les valeurs pour les paramètres que vous avez définis avec le préfixe parameter_ dans le Studio.
    Remarque : Utilisez \\ au lieu de \ lorsque la valeur peut être interprétée comme un caractère spécial, par exemple \t.

    Lors d'un affichage dans Talend Cloud Management Console, les premières lettres de chaque mot dans les noms de paramètres sont automatiquement transformées en majuscules et les tirets bas (_) à espaces, par exemple, city_name devientCity Name.

    Ceci s'applique à des fins d'affichage uniquement. Lorsque vous devez utiliser un nom de paramètre dans vos programmes, par exemple, une requête d'API, n'utilisez pas le nom d'affichage, mais le même nom que dans le Studio Talend.

  14. Facultatif : Dans la section Advanced parameters, saisissez les valeurs pour les paramètres que vous avez définis dans le Studio sans préfixe, et les paramètres connection_ qui ne sont pas définis dans le Job. Cette section est disponible lorsque l'option Show order as in Studio (Afficher le même ordre que dans le Studio) est désactivée. Sinon, tous les paramètres se situent dans l'étape Parameters.
    Remarque : Utilisez \\ au lieu de \ lorsque la valeur peut être interprétée comme un caractère spécial, par exemple \t.
  15. Facultatif : Dans l'étape Connection (Connexion), sélectionnez la connexion appropriée dans la liste déroulante ou créez une nouvelle connexion basée sur les paramètres déjà définis dans l'artefact.
  16. Facultatif : Dans l'étape Resources (Ressources), sélectionnez la ressource correspondante à utiliser dans la tâche.
  17. Dans l'étape Engine (Moteur), sélectionnez le moteur ou le cluster de moteurs sur lequel exécuter votre tâche, dans la liste déroulante Engine (Moteur).
    • Cloud
    • Exclusif au Cloud
    • Moteur distant
    • Cluster de moteurs distants
  18. Facultatif : Sélectionnez un profil d'exécution.
    Vous pouvez choisir un profil d'exécution précédemment créé pour le moteur distant ou cluster sélectionné pour configurer les paramètres de la JVM pour l'exécution de la tâche.

    Si vous utilisez un moteur distant ou un cluster, cette fonctionnalité est supportée à partir de la version 2.9.1 du moteur distant.

  19. Configurez le niveau de log.

    Sélectionnez le niveau de log le plus bas à prendre en compte.

    Si vous utilisez un moteur distant ou un cluster, cette fonctionnalité est supportée à partir de la version 2.8.3 du moteur distant.

    Exemple

    Si le niveau de log est configuré à Warning, seuls les logs indiqués comme Warning et Error seront affichés dans la page des logs d'exécution des tâches ( Task run log).

    Pour des raisons de sécurité, configurez le niveau de log à Warning (Avertissement) pour les Jobs déployés en production.

  20. Facultatif : Sélectionnez l'option Allow parallel run of this task (Autoriser l'exécution parallèle de cette tâche) pour que la tâche puisse être exécutée en parallèle lors de l'utilisation d'un moteur Cloud, exclusif au Cloud, moteur distant ou cluster.

    Si vous utilisez un moteur distant pour exécuter simultanément des tâches identiques, cette fonctionnalité est supportée à partir de la version 2.12.0 du moteur distant.

    Par défaut, vous pouvez exécuter trois tâches différentes ou identiques en parallèle, sur un seul moteur distant. Pour plus d'informations concernant la configuration associée, consultez Exécuter des tâches en parallèle sur un moteur distant unique.

    Avant de désactiver cette option, arrêtez la tâche ou attendez la fin de l'exécution. Sinon, l'exécution parallèle est autorisée.

  21. Facultatif : Si vous avez sélectionné un moteur distant ou un cluster, vous pouvez exécuter votre Job en tant qu'autre utilisateur·trice en saisissant leur identifiant dans le champ Run as impersonated user (Exécuter avec un autre identifiant).
    Cette fonctionnalité est supportée uniquement si le moteur distant est installé sur un environnement Unix ou similaire.
    Pour plus d'informations concernant l'impersonation d'utilisateur ou d'utilisatrice, consultez le Guide d'utilisation de Talend Remote Engine.
  22. Facultatif : Configurez le délai avant expiration de la tâche en sélectionnant Custom (Personnalisé et en saisissant une valeur.
    La valeur par défaut est de cinq minutes. La valeur minimale est 1.
  23. Facultatif : Dans l'étape Schedule (Planifier), sélectionnez la fréquence d'exécution et, si nécessaire, le délai avant expiration du déclenchement.

    Vous pouvez ajouter un ou plusieurs déclencheur·s pour ordonnancer votre tâche ou démarrer la tâche manuellement sans déclencheur.

    Par défaut, la valeur du délai avant expiration du déclenchement est la même que celle du délai avant expiration de la tâche.

    Le délai avant expiration du déclenchement écrase le délai avant expiration de la tâche.

    Pour plus d'informations, consultez Planifier des tâches de Job.
  24. Cliquez sur Save and close (Sauvegarder et fermer).

Résultats

Votre tâche est prête à être exécutée sur Talend Cloud Management Console.

Remarque :

Le modèle de tentatives avec interruption exponentielle a été adopté pour des première et deuxième tentatives plus rapides (1 minute et 3 minutes, respectivement, après la tentative originale en échec), mais également pour un meilleur comportement global en cas de pic de charge de travail.

Par exemple, lorsque vous tentez d'exécuter une tâche déjà en cours d'exécution, l'exécution échoue. Talend Cloud Management Console fait une nouvelle tentative d'exécution, avec un intervalle de temps toujours croissant. Par exemple, la première nouvelle tentative s'exécute après 1 minute seulement, la deuxième après 2 minutes, puis les suivantes après 4 minutes et 8 minutes.

Si la quatrième nouvelle tentative échoue, vous obtenez le message d'erreur Exceeded the limit of deployment attempts: another instance of the same task was running on the engine at the same time (Dépassement de la limite de tentatives de déploiement : une autre instance de la même tâche s'exécutait en même temps sur le moteur). Essayez d'exécuter la tâche plus tard.

Résolution de problèmes : Si l'ordonnancement d'exécution de tâches est trop fréquent, la même tâche risque d'être exécutée en parallèle sur deux moteurs Cloud ou clusters de moteurs distants différents. Pour éviter ce problème, exécutez votre tâche dans un environnement avec un moteur Cloud unique alloué ou ordonnancez la tâche sur un moteur distant.

Exemple