Procédure
- Ouvrez le fichier <Spark_Job_Server_Path>/settings.sh.
-
Modifiez la ligne suivante pour spécifier l'adresse IP que vous souhaitez que le service Spark Job Server utilise. Ce service écoutera sur cette adresse IP.
sjs_host=localhost -
Modifiez la ligne suivante pour spécifier le port que vous souhaitez que le service Spark Job Server utilise. Ce service écoutera sur ce port.
sjs_port=8098 -
Modifiez la ligne suivante pour spécifier le chemin d'accès au répertoire des propriétés du cluster Hadoop. Notez que le chemin d'accès doit être local : vous pouvez récupérer les fichiers de configuration (hdfs-site.xml, mapred-side.xml, core-site.xml, yarn-site.xml par exemple) depuis votre cluster Hadoop pour les copier sur la machine où Spark Job Server est installé.
hadoop_conf_dir=/path/to/hadoop/cluster/settings/directory -
Pour utiliser le serveur Spark Job Server avec un cluster Hadoop sécurisé (en utilisant Kerberos), ajoutez la ligne suivante au fichier. Notez que le chemin d'accès doit être local : vous pouvez récupérer le fichier krb5.conf depuis votre cluster Hadoop pour le copier sur la machine où Spark Job Server est installé.
krb5.config=/path/to/Kerberos/configuration/file/krb5.conf - Enregistrez les modifications sur le fichier de propriétés.
- Redémarrez Spark Job Server afin de prendre en compte vos modifications.