配置 Spark Job Server - 7.1

Talend Data Fabric 安装指南 (Linux)

EnrichVersion
7.1
EnrichProdName
Talend Data Fabric
task
数据治理
EnrichPlatform
Talend Activity Monitoring Console
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend Data Preparation
Talend Data Stewardship
Talend DQ Portal
Talend ESB
Talend Identity and Access Management
Talend Installer
Talend JobServer
Talend Log Server
Talend MDM Server
Talend MDM Web UI
Talend Repository Manager
Talend Runtime
Talend SAP RFC Server
Talend Studio

过程

  1. 打开 <Spark_Job_Server_Path>/settings.sh 文件。
  2. 编辑以下行以指定您想要 Spark Job Server 服务使用的 IP 地址。该服务将侦听此 IP 地址。
    sjs_host=localhost
  3. 编辑以下行以指定您想要 Spark Job Server 服务使用的端口。该服务将侦听此端口。
    sjs_port=8098
  4. 编辑以下行以指定 Hadoop 集群设置目录的路径。请注意,这必须是本地路径:您可以从 Hadoop 集群获得设置文件 (如 hdfs-site.xmlmapred-side.xml、core-site.xmlyarn-site.xml),并将它们复制到安装 Spark Job Server 的计算机。
    hadoop_conf_dir=/path/to/hadoop/cluster/settings/directory
  5. 要将 Spark Job Server 服务器与安全 Hadoop 集群 (使用 Kerberos) 一起使用,请将以下行添加到该文件。请注意,这必须是本地路径:您可以从 Hadoop 集群获得 krb5.conf 文件,并将其复制到安装 Spark Job Server 的计算机。
    krb5.config=/path/to/Kerberos/configuration/file/krb5.conf
  6. 将您的更改保存到设置文件。
  7. 重新启动 Spark Job Server 以使您的更改生效。