Configurer Spark Job Server

Talend Data Services Platform Guide d'installation pour Windows

EnrichVersion
6.3
EnrichProdName
Talend Data Services Platform
task
Installation et mise à niveau

Cette section fournit des informations sur la configuration du serveur Spark Job Server lorsqu'il est utilisé avec Talend Data Preparation dans un contexte de données volumineuses (Big Data).

  1. Ouvrez le fichier <Spark_Job_Server_Path>/settings.sh.

  2. Modifiez la ligne suivante pour spécifier l'adresse IP que vous souhaitez que le service Spark Job Server utilise. Ce service n'écoutera que sur cette adresse IP.

    sjs_host=localhost
  3. Modifiez la ligne suivante pour spécifier le port que vous souhaitez que le service Spark Job Server utilise. Ce service n'écoutera que sur ce port.

    sjs_port=8098
  4. Modifiez la ligne suivante pour spécifier le chemin d'accès au répertoire des propriétés du cluster Hadoop. Notez que ce chemin doit être un chemin local : vous pouvez récuperer les fichiers de configuration (hdfs-site.xml, mapred-side.xml, core-site.xml, yarn-site.xml par exemple) depuis votre cluster Hadoop pour les copier sur la machine où Spark Job Server est installé.

    hadoop_conf_dir=/path/to/hadoop/cluster/settings/directory
  5. Pour utiliser le serveur Spark Job Server avec un cluster Hadoop sécurisé (en utilisant Kerberos), ajoutez la ligne suivante au fichier. Notez que ce chemin doit être un chemin local : vous pouvez récuperer le fichier krb5.conf depuis votre cluster Hadoop pour le copier sur la machine où Spark Job Server est installé.

    krb5.config=/path/to/Kerberos/configuration/file/krb5.conf

  6. Enregistrez les modifications sur le fichier de propriétés.

  7. Redémarrez Spark Job Server afin de prendre en compte vos modifications.