Spark Job Serverを設定 - 7.3

Linux版Talendインストールガイド

Version
7.3
Language
日本語 (日本)
EnrichDitaval
Linux
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Activity Monitoring Console
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend Data Preparation
Talend Data Stewardship
Talend DQ Portal
Talend ESB
Talend Identity and Access Management
Talend Installer
Talend JobServer
Talend Log Server
Talend MDM Server
Talend MDM Web UI
Talend Repository Manager
Talend Runtime
Talend SAP RFC Server
Talend Studio
Content
インストールとアップグレード

手順

  1. <Spark_Job_Server_Path>/settings.shを開きます。
  2. 次の行を編集して、使用するSpark Job ServerサービスのIPアドレスを指定します。サービスはこのIPアドレスで待機します。
    sjs_host=localhost
  3. 次の行を編集して、使用するSpark Job Serverサービスのポートを指定します。サービスはこのポートで待機します。
    sjs_port=8098
  4. 次の行を編集して、Hadoopクラスター設定ディレクトリーへのパスを指定します。これはローカルパスにする必要があります: 設定ファイル(hdfs-site.xmlmapred-side.xml、core-site.xml、およびyarn-site.xmlなど)は、Hadoopクラスターから取得し、Spark Job Serverをインストールしたマシンにコピーできます。
    hadoop_conf_dir=/path/to/hadoop/cluster/settings/directory
  5. セキュアなHadoopクラスターを備えた(ケルベロスを使用する)Spark Job Serverサーバーを使用するには、ファイルに次の行を追加します。これはローカルパスにする必要があります:krb5.confファイルは、Hadoopクラスターから取得し、Spark Job Serverをインストールしたマシンにコピーできます。
    krb5.config=/path/to/Kerberos/configuration/file/krb5.conf
  6. 変更を基本設定ファイルに保存します。
  7. 変更を考慮して、Spark Job Serverを再起動します。