Sparkジョブサーバーの設定 - 7.0

Linux版Talend Big Data Platform インストールガイド

EnrichVersion
7.0
EnrichProdName
Talend Big Data Platform
task
インストールとアップグレード
EnrichPlatform
Talend Activity Monitoring Console
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend Data Preparation
Talend Data Stewardship
Talend DQ Portal
Talend Identity and Access Management
Talend Installer
Talend JobServer
Talend Log Server
Talend Repository Manager
Talend Runtime
Talend SAP RFC Server
Talend Studio

手順

  1. <Spark_Job_Server_Path>/settings.shを開きます。
  2. 次の行を編集して、使用するSparkジョブサーバーサービスのIPアドレスを指定します。サービスはこのIPアドレスで待機します。
    sjs_host=localhost
  3. 次の行を編集して、使用するSparkジョブサーバーサービスのポートを指定します。サービスはこのポートで待機します。
    sjs_port=8098
  4. 次の行を編集して、Hadoopクラスター設定ディレクトリへのパスを指定します。これはローカルパスにする必要があります: 設定ファイル(hdfs-site.xmlmapred-side.xml、core-site.xml、およびyarn-site.xmlなど)は、Hadoopクラスターから取得し、Sparkジョブサーバーをインストールしたマシンにコピーできます。
    hadoop_conf_dir=/path/to/hadoop/cluster/settings/directory
  5. セキュアなHadoopクラスターを備えた(ケルベロスを使用する)Sparkジョブサーバーサーバーを使用するには、ファイルに次の行を追加します。これはローカルパスにする必要があります:krb5.confファイルは、Hadoopクラスターから取得し、Sparkジョブサーバーをインストールしたマシンにコピーできます。
    krb5.config=/path/to/Kerberos/configuration/file/krb5.conf
  6. 変更を基本設定ファイルに保存します。
  7. 変更を考慮して、Sparkジョブサーバーを再起動します。