Créer des profils d’exécution Big Data - Cloud

Guide utilisateur de Talend Cloud Management Console

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
Administration et monitoring > Gestion des projets
Administration et monitoring > Gestion des utilisateurs
Déploiement > Exécution de Pipelines
Déploiement > Exécution de Tâches
Déploiement > Ordonnancement > Ordonnancement de Tâches
EnrichPlatform
Talend Management Console

Avant de commencer

  • Vous devez avoir les droits Operator ou Administrator dans Talend Cloud Pipeline Designer.
  • Vous devez configurer le Remote Engine for Pipelines ou vous assurer que votre souscription vous permette d'utiliser le moteur Cloud pour les Pipelines. Pour plus d'instructions concernant la configuration du moteur distant, consultez le Guide de démarrage rapide de Talend Remote Engine for Pipelines.

Pourquoi et quand exécuter cette tâche

Remarque : Pour pouvoir utiliser Spark et Hadoop avec Talend Cloud Pipeline Designer, vous devez avoir souscrit à Talend Cloud avec Big Data.

Procédure

  1. Ouvrez l’onglet ENGINES.
  2. Cliquez sur RUN PROFILES.
  3. Cliquez sur ADD PROFILE.
  4. Sélectionnez le type de profil d’exécution Big Data.
  5. Sélectionnez le moteur auquel appliquer le profil d'exécution.
  6. Sélectionnez le framework d’exécution Spark on Yarn.
  7. Sélectionnez la distribution EMR 5.x (Hadoop 2.7).
  8. Saisissez le nom du profil.
  9. Facultatif : Saisissez la description du profil d’exécution.
  10. Configurez les attributs du profil d’exécution.
  11. Cliquez sur SAVE.

Résultats

Le profil d’exécution créé s’affiche dans la page ENGINES > RUN PROFILES de Talend Cloud Management Console. Dans Talend Cloud Pipeline Designer, le même profil d’exécution s’affiche dans la liste déroulante du pipeline.

Remarque : La première exécution d'un pipeline sur le cluster requiert plus de temps que les suivantes car les dépendances sont déployées sur Databricks File System (DBFS).