Configurer Spark Job Server

Procédure

Ouvrez le fichier <Spark_Job_Server_Path>/settings.sh.
Modifiez la ligne suivante pour spécifier l'adresse IP que vous souhaitez que le service Spark Job Server utilise. Ce service écoutera sur cette adresse IP.
sjs_host=localhost
Modifiez la ligne suivante pour spécifier le port que vous souhaitez que le service Spark Job Server utilise. Ce service écoutera sur ce port.
sjs_port=8098
Modifiez la ligne suivante pour spécifier le chemin d'accès au répertoire des propriétés du cluster Hadoop. Notez que le chemin d'accès doit être local : vous pouvez récupérer les fichiers de configuration (hdfs-site.xml, mapred-side.xml, core-site.xml, yarn-site.xml par exemple) depuis votre cluster Hadoop pour les copier sur la machine où Spark Job Server est installé.
hadoop_conf_dir=/path/to/hadoop/cluster/settings/directory
Pour utiliser le serveur Spark Job Server avec un cluster Hadoop sécurisé (en utilisant Kerberos), ajoutez la ligne suivante au fichier. Notez que le chemin d'accès doit être local : vous pouvez récupérer le fichier krb5.conf depuis votre cluster Hadoop pour le copier sur la machine où Spark Job Server est installé.
krb5.config=/path/to/Kerberos/configuration/file/krb5.conf
Enregistrez les modifications sur le fichier de propriétés.
Redémarrez Spark Job Server afin de prendre en compte vos modifications.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !

Laissez vos commentaires ici