Configurer Spark Job Server

Talend Data Integration Guide d'installation pour Windows

EnrichVersion
6.3
EnrichProdName
Talend Data Integration
task
Installation et mise à niveau
EnrichPlatform
Talend Administration Center
Talend Activity Monitoring Console
Talend Data Stewardship
Talend JobServer
Talend Artifact Repository
Talend Data Preparation
Talend Installer
Talend Project Audit
Talend CommandLine
Studio Talend
Talend Log Server
Talend Runtime

Cette section fournit des informations sur la configuration du serveur Spark Job Server lorsqu'il est utilisé avec Talend Data Preparation dans un contexte de données volumineuses (Big Data).

  1. Ouvrez le fichier <Spark_Job_Server_Path>/settings.sh.

  2. Modifiez la ligne suivante pour spécifier l'adresse IP que vous souhaitez que le service Spark Job Server utilise. Ce service n'écoutera que sur cette adresse IP.

    sjs_host=localhost
  3. Modifiez la ligne suivante pour spécifier le port que vous souhaitez que le service Spark Job Server utilise. Ce service n'écoutera que sur ce port.

    sjs_port=8098
  4. Modifiez la ligne suivante pour spécifier le chemin d'accès au répertoire des propriétés du cluster Hadoop. Notez que ce chemin doit être un chemin local : vous pouvez récuperer les fichiers de configuration (hdfs-site.xml, mapred-side.xml, core-site.xml, yarn-site.xml par exemple) depuis votre cluster Hadoop pour les copier sur la machine où Spark Job Server est installé.

    hadoop_conf_dir=/path/to/hadoop/cluster/settings/directory
  5. Pour utiliser le serveur Spark Job Server avec un cluster Hadoop sécurisé (en utilisant Kerberos), ajoutez la ligne suivante au fichier. Notez que ce chemin doit être un chemin local : vous pouvez récuperer le fichier krb5.conf depuis votre cluster Hadoop pour le copier sur la machine où Spark Job Server est installé.

    krb5.config=/path/to/Kerberos/configuration/file/krb5.conf

  6. Enregistrez les modifications sur le fichier de propriétés.

  7. Redémarrez Spark Job Server afin de prendre en compte vos modifications.