配置 Spark Job Server - 7.3

Talend安装指南

Version
7.3
Language
中文(简体)
Operating system
Linux
Subscription type
订阅
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Activity Monitoring Console
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend Data Preparation
Talend Data Stewardship
Talend DQ Portal
Talend ESB
Talend Identity and Access Management
Talend Installer
Talend JobServer
Talend Log Server
Talend MDM Server
Talend MDM Web UI
Talend Repository Manager
Talend Runtime
Talend SAP RFC Server
Talend Studio
Content
安装和升级
Last publication date
2022-10-30

步骤

  1. 打开 <Spark_Job_Server_Path>/settings.sh 文件。
  2. 编辑以下行以指定您想要 Spark Job Server 服务使用的 IP 地址。该服务将侦听此 IP 地址。
    sjs_host=localhost
  3. 编辑以下行以指定您想要 Spark Job Server 服务使用的端口。该服务将侦听此端口。
    sjs_port=8098
  4. 编辑以下行以指定 Hadoop 集群设置目录的路径。请注意,这必须是本地路径:您可以从 Hadoop 集群获得设置文件 (如 hdfs-site.xmlmapred-side.xmlcore-site.xmlyarn-site.xml),并将其复制到安装 Spark Job Server 的计算机。
    hadoop_conf_dir=/path/to/hadoop/cluster/settings/directory
  5. 要将 Spark Job Server 服务器与安全 Hadoop 集群 (使用 Kerberos) 一起使用,请将以下行添加到该文件。请注意,这必须是本地路径:您可以从 Hadoop 集群获得 krb5.conf 文件,并将其复制到安装 Spark Job Server 的计算机。
    krb5.config=/path/to/Kerberos/configuration/file/krb5.conf
  6. 将您的更改保存到设置文件。
  7. 重新启动 Spark Job Server 以使您的更改生效。