Cette section fournit des informations sur la configuration du serveur Spark Job Server lorsqu'il est utilisé avec Talend Data Preparation dans un contexte Big Data.
Ouvrez le fichier <Spark_Job_Server_Path>/settings.sh.
Modifiez la ligne suivante pour spécifier l'adresse IP que vous souhaitez que le service utilise. Ce service écoutera sur cette adresse IP.
sjs_host=localhost
Modifiez la ligne suivante pour spécifier le port Spark Job Server que vous souhaitez que le service utilise. Ce service écoutera sur ce port.
sjs_port=8098
Modifiez la ligne suivante pour spécifier le chemin d'accès au répertoire des propriétés du cluster Hadoop. Notez que ce chemin doit être un chemin local : vous pouvez récupérer les fichiers de configuration (hdfs-site.xml, mapred-side.xml, core-site.xml, yarn-site.xml par exemple) depuis votre cluster Hadoop pour les copier sur la machine où est installé Spark Job Server.
hadoop_conf_dir=/path/to/hadoop/cluster/settings/directory
Pour utiliser le serveur avec un cluster Hadoop sécurisé (en utilisant Kerberos), ajoutez la ligne suivante au fichier. Notez que ce chemin doit être un chemin local : vous pouvez récupérer le fichier krb5.conf depuis votre cluster Hadoop pour le copier sur la machine où est installé.Spark Job Server
krb5.config=/path/to/Kerberos/configuration/file/krb5.conf
Enregistrez les modifications sur le fichier de propriétés.
Redémarrez Spark Job Server afin de prendre en compte vos modifications.