Configurer Spark Job Server - 6.3

Talend Real-time Big Data Platform Guide d'installation pour Windows

EnrichVersion
6.3
EnrichProdName
Talend Real-Time Big Data Platform
task
Installation et mise à niveau
EnrichPlatform
Studio Talend
Talend Activity Monitoring Console
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend Data Preparation
Talend Data Stewardship
Talend DQ Portal
Talend ESB
Talend Identity Management
Talend Installer
Talend JobServer
Talend Log Server
Talend Project Audit
Talend Repository Manager
Talend Runtime
Talend SAP RFC Server

Cette section fournit des informations sur la configuration du serveur Spark Job Server lorsqu'il est utilisé avec Talend Data Preparation dans un contexte de données volumineuses (Big Data).

  1. Ouvrez le fichier <Spark_Job_Server_Path>/settings.sh.

  2. Modifiez la ligne suivante pour spécifier l'adresse IP que vous souhaitez que le service Spark Job Server utilise. Ce service n'écoutera que sur cette adresse IP.

    sjs_host=localhost
  3. Modifiez la ligne suivante pour spécifier le port que vous souhaitez que le service Spark Job Server utilise. Ce service n'écoutera que sur ce port.

    sjs_port=8098
  4. Modifiez la ligne suivante pour spécifier le chemin d'accès au répertoire des propriétés du cluster Hadoop. Notez que ce chemin doit être un chemin local : vous pouvez récuperer les fichiers de configuration (hdfs-site.xml, mapred-side.xml, core-site.xml, yarn-site.xml par exemple) depuis votre cluster Hadoop pour les copier sur la machine où Spark Job Server est installé.

    hadoop_conf_dir=/path/to/hadoop/cluster/settings/directory
  5. Pour utiliser le serveur Spark Job Server avec un cluster Hadoop sécurisé (en utilisant Kerberos), ajoutez la ligne suivante au fichier. Notez que ce chemin doit être un chemin local : vous pouvez récuperer le fichier krb5.conf depuis votre cluster Hadoop pour le copier sur la machine où Spark Job Server est installé.

    krb5.config=/path/to/Kerberos/configuration/file/krb5.conf

  6. Enregistrez les modifications sur le fichier de propriétés.

  7. Redémarrez Spark Job Server afin de prendre en compte vos modifications.