步骤
- 打开 <Spark_Job_Server_Path>/settings.sh 文件。
-
编辑以下行以指定您想要 Spark Job Server 服务使用的 IP 地址。该服务将侦听此 IP 地址。
sjs_host=localhost
-
编辑以下行以指定您想要 Spark Job Server 服务使用的端口。该服务将侦听此端口。
sjs_port=8098
-
编辑以下行以指定 Hadoop 集群设置目录的路径。请注意,这必须是本地路径:您可以从 Hadoop 集群获得设置文件 (如 hdfs-site.xml、mapred-side.xml、core-site.xml 和 yarn-site.xml),并将其复制到安装 Spark Job Server 的计算机。
hadoop_conf_dir=/path/to/hadoop/cluster/settings/directory
-
要将 Spark Job Server 服务器与安全 Hadoop 集群 (使用 Kerberos) 一起使用,请将以下行添加到该文件。请注意,这必须是本地路径:您可以从 Hadoop 集群获得 krb5.conf 文件,并将其复制到安装 Spark Job Server 的计算机。
krb5.config=/path/to/Kerberos/configuration/file/krb5.conf
- 将您的更改保存到设置文件。
- 重新启动 Spark Job Server 以使您的更改生效。