Définition de la connexion Spark - 6.5

Utilisation de Spark 2.0 avec la version 6.3 du Studio

EnrichVersion
6.5
task
Création et développement > Création de Jobs > Distributions Hadoop
Création et développement > Création de Jobs > Frameworks de Jobs > Spark Batch
Création et développement > Création de Jobs > Frameworks de Jobs > Spark Streaming
EnrichPlatform
Studio Talend
Définissez la configuration de Spark dans le Studio pour importer les fichiers .jar associés à Spark 2.0.

Procédure

  1. Dans le Studio, ouvrez le Job que vous souhaitez exécuter avec Spark 2.0.
  2. Pour ouvrir la vue Run, double-cliquez sur Run.
  3. Cliquez sur l'onglet Spark configuration.
  4. Décochez la case Use local mode.
  5. Dans la liste déroulante Distribution, sélectionnez Custom - Unsupported. Cette option vous permet d'importer des fichiers .jar associés à Spark qui ne sont pas nativement supportés par votre distribution Hadoop.
  6. Dans la liste déroulante Spark version, sélectionnez 2.0.
  7. Pour ouvrir l'assistant Import Custom Definition, à côté de la liste Distribution, cliquez sur l'ellipse (...).
  8. Sélectionnez le bouton rond Import from existing version et choisissez votre distribution. Assurez-vous que la case Spark est cochée.
  9. Cliquez sur OK, et dans la boîte de dialogue qui s'affiche, cliquez sur Yes. L'assistant [Custom Hadoop Version Definition] s'ouvre.
  10. Dans la liste de fichiers .jar, supprimez toutes les entrées, exceptée l'entrée talend-mapred-lib.jar. Si vous exécutez votre Job sous Windows, gardez également winutils-hadoop-2.6.0.exe.
  11. Pour ouvrir l'assistant [Select Libraries], cliquez sur le signe plus (+), puis sélectionnez External libraries.
  12. Pour accéder et sélectionner le fichier .jar associé à Spark que vous avez téléchargé dans votre cluster récemment, cliquez sur Browse....

    Vous pouvez voir les fichiers suivants :

  13. Après l'ajout des fichiers .jar, cliquez sur OK afin de valider les modifications.