Résoudre le problème de variable hdp.version pour les Jobs MapReduce - 7.0

Problème de variable de version HDP dans des Jobs MapReduce et Spark

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
task
Création et développement > Création de Jobs > Distributions Hadoop > Hortonworks
Création et développement > Création de Jobs > Frameworks de Jobs > MapReduce
Création et développement > Création de Jobs > Frameworks de Jobs > Spark Batch
Création et développement > Création de Jobs > Frameworks de Jobs > Spark Streaming
EnrichPlatform
Studio Talend

Procédure

  1. Définissez le paramètre hdp.version dans votre cluster, plus précisément dans le fichier mapred-site.xml du cluster. Le cluster Hortonworks lit ce fichier pour trouver l'application MapReduce à utiliser.
    1. Dans Ambari, cliquez sur le service MapReduce2 dans la liste de services à gauche, puis cliquez sur Configs pour ouvrir la page de configuration et cliquez sur l'onglet Advanced.
    2. Faites défiler la page jusqu'en bas pour trouver la liste Advanced mapred-site et cliquez sur Advanced mapred-site pour afficher la liste.
    3. Trouvez le paramètre mapreduce.application.framework.path. Un chemin d'accès a été défini pour ce paramètre avec la variable ${hdp.version} qui se trouve dans ce chemin.
    4. Remplacez ${hdp.version} par hdp.version=2.6.0.3-8, le numéro de version que vous avez trouvé en suivant la procédure Trouver la valeur de hdp.version à utiliser.
    5. Cliquez sur Save pour valider la nouvelle configuration et redémarrez les services pour implémenter la nouvelle valeur de hdp.version dans le fichier mapred-site.xml.
  2. Dans le Studio, ouvrez le Job MapReduce à utiliser et cliquez sur l'onglet Run pour ouvrir cette vue.
  3. Cliquez sur Advanced settings et dans cette vue, cochez la case Use specific JVM arguments, puis ajoutez le numéro de version que vous avez saisi dans le cluster. Dans cet exemple, ajoutez -Dhdp.version=2.6.0.3-8.

    Cette procédure explique uniquement les actions à effectuer pour résoudre le problème de version HDP dans un Job MapReduce. Vous devez configurer correctement les autres parties de votre Job avant de pouvoir l'exécuter avec succès.