Définition des paramètres avancés - 6.5

Utilisation de Spark 2.0 avec la version 6.3 du Studio

EnrichVersion
6.5
task
Création et développement > Création de Jobs > Distributions Hadoop
Création et développement > Création de Jobs > Frameworks de Jobs > Spark Batch
Création et développement > Création de Jobs > Frameworks de Jobs > Spark Streaming
EnrichPlatform
Studio Talend
Définissez les paramètres avancés de Spark dans le Studio pour lire les fichiers .jar associés à Spark 2.0 dans votre cluster.

Procédure

  1. Dans la table Advanced properties, cliquez sur le signe (+) afin d'ajouter une ligne.
  2. Dans la colonne Property, entre les guillemets doubles, saisissez spark.yarn.jars. Ce paramètre fournit les noms des fichiers .jar à utiliser par votre Job Spark, tout comme leurs chemins d'accès dans votre cluster.
  3. Dans la colonne Value, entre les guillemets doubles, saisissez les noms des fichiers .jars ainsi que leurs répertoires. Dans cet exemple, puisque les fichiers .jar sont centralisés dans le répertoire usr/lib/spark/jars , saisissez "usr/lib/spark/jars/*".