手順
- <Spark_Job_Server_Path>/settings.shを開きます。
-
次の行を編集して、使用するSpark Job ServerサービスのIPアドレスを指定します。サービスはこのIPアドレスで待機します。
sjs_host=localhost -
次の行を編集して、使用するSpark Job Serverサービスのポートを指定します。サービスはこのポートで待機します。
sjs_port=8098 -
次の行を編集して、Hadoopクラスター設定ディレクトリーへのパスを指定します。これはローカルパスにする必要があります: 設定ファイル(hdfs-site.xml、mapred-side.xml、core-site.xml、およびyarn-site.xmlなど)は、Hadoopクラスターから取得し、Spark Job Serverをインストールしたマシンにコピーできます。
hadoop_conf_dir=/path/to/hadoop/cluster/settings/directory -
セキュアなHadoopクラスターを備えた(ケルベロスを使用する)Spark Job Serverサーバーを使用するには、ファイルに次の行を追加します。これはローカルパスにする必要があります:krb5.confファイルは、Hadoopクラスターから取得し、Spark Job Serverをインストールしたマシンにコピーできます。
krb5.config=/path/to/Kerberos/configuration/file/krb5.conf - 変更を基本設定ファイルに保存します。
- 変更を考慮して、Spark Job Serverを再起動します。