Créer des profils d’exécution standards - Cloud

Guide utilisateur de Talend Cloud Management Console

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
Administration et monitoring > Gestion des projets
Administration et monitoring > Gestion des utilisateurs
Déploiement > Exécution de Pipelines
Déploiement > Exécution de Tâches
Déploiement > Ordonnancement > Ordonnancement de Tâches
EnrichPlatform
Talend Management Console

Avant de commencer

  • Vous devez avoir les droits Operator ou Administrator dans Talend Cloud Pipeline Designer.
  • Vous devez configurer le Remote Engine for Pipelines ou vous assurer que votre souscription vous permette d'utiliser le moteur Cloud pour les Pipelines. Pour plus d'instructions concernant la configuration du moteur distant, consultez le Guide de démarrage rapide de Talend Remote Engine for Pipelines.

Procédure

  1. Ouvrez l’onglet ENGINES.
  2. Cliquez sur RUN PROFILES.
  3. Cliquez sur ADD PROFILE.
  4. Sélectionnez le type de profil d'exécution Standard.
  5. Sélectionnez le moteur auquel appliquer le profil d'exécution.
  6. Sélectionnez le framework d'exécution.
    Seul Spark local est supporté.
  7. Saisissez le nom du profil.
  8. Facultatif : Saisissez la description du profil d’exécution.
  9. Dans la section BASIC CONFIGURATION, saisissez l'intervalle entre chaque micro-batch, en millisecondes.
    La valeur par défaut est 5000:
  10. Saisissez le nombre de threads que peut utiliser le profil d’exécution.
  11. Facultatif : Dans la zone ADVANCED CONFIGURATION, cliquez sur ADD PARAMETER pour créer un paramètre.
  12. Saisissez la clé et la valeur pour chaque nouveau paramètre.

    Exemple

    Pour configurer la mémoire à utiliser par processus d’exécuteur, saisissez spark.executor.memory dans la clé du paramètre et 16g dans les champs de valeur.
  13. Cliquez sur SAVE.

Résultats

Le profil d’exécution créé s’affiche dans la page ENGINES > RUN PROFILES de Talend Cloud Management Console. Dans Talend Cloud Pipeline Designer, le même profil d’exécution s’affiche dans la liste déroulante du pipeline.

Remarque : La première exécution d'un pipeline sur le cluster requiert plus de temps que les suivantes car les dépendances sont déployées sur Databricks File System (DBFS).