Résoudre le problème de variable hdp.version pour les Jobs Spark - 7.0

Problème de variable de version HDP dans des Jobs MapReduce et Spark

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
task
Création et développement > Création de Jobs > Distributions Hadoop > Hortonworks
Création et développement > Création de Jobs > Frameworks de Jobs > MapReduce
Création et développement > Création de Jobs > Frameworks de Jobs > Spark Batch
Création et développement > Création de Jobs > Frameworks de Jobs > Spark Streaming
EnrichPlatform
Studio Talend

Procédure

  1. Définissez le paramètre hdp.version dans votre cluster.

    La façon la plus simple de le faire est d'ajouter ce paramètre au fichier de configuration yarn-site.xml.

    1. Dans Ambari, cliquez sur le service Yarn dans la liste de services à gauche, puis cliquez sur Configs pour ouvrir la page de configuration et cliquez sur l'onglet Advanced.
    2. Faites défiler la page jusqu'en bas pour trouver la liste Custom yarn-site et cliquez sur Custom yarn-site pour afficher la liste.
    3. Cliquez sur Add property pour ouvrir la boîte de dialogue [Add property].
    4. Saisissez hdp.version=2.6.0.3-8, le numéro de version que vous avez trouvé en suivant la procédure Trouver la valeur de hdp.version à utiliser et cliquez sur Add pour valider les changements. Le paramètre hdp.version s'affiche dans la liste de paramètres Custom yarn-site.
    5. Cliquez sur Save pour valider la nouvelle configuration et redémarrez les services pour implémenter le paramètre hdp.version dans le fichier yarn-site.xml.
  2. Dans le Studio, ouvrez le Job Spark à utiliser et cliquez sur l'onglet Run pour ouvrir cette vue.
  3. Cliquez sur Spark configuration, puis dans cette vue, cochez la case Set hdp.version et saisissez, entre guillemets doubles, le numéro de version que vous avez saisi dans le cluster. Dans cet exemple, il s'agit de 2.6.0.3-8.

    Cette procédure explique uniquement les actions à effectuer pour résoudre le problème de version HDP dans un Job Spark. Vous devez configurer correctement les autres parties de votre Job avant de pouvoir l'exécuter avec succès.