Résoudre le problème de variable hdp.version pour les Jobs Spark
Procédure
-
Définissez le paramètre hdp.version dans votre cluster.
La façon la plus simple de le faire est d'ajouter ce paramètre au fichier de configuration yarn-site.xml.
-
Saisissez hdp.version=2.6.0.3-8, le numéro de version trouvé en suivant la procédure au début de cet article concernant la manière de trouver la valeur hdp.version à utiliser, puis cliquez sur Add afin de valider les modifications. Le paramètre hdp.version s'affiche dans la liste de paramètres Custom yarn-site.
-
Saisissez hdp.version=2.6.0.3-8, le numéro de version trouvé en suivant la procédure au début de cet article concernant la manière de trouver la valeur hdp.version à utiliser, puis cliquez sur Add afin de valider les modifications. Le paramètre hdp.version s'affiche dans la liste de paramètres Custom yarn-site.
-
Cliquez sur Spark configuration, puis dans cette vue, cochez la case Set hdp.version et saisissez, entre guillemets doubles, le numéro de version que vous avez saisi dans le cluster. Dans cet exemple, il s'agit de 2.6.0.3-8.
Cette procédure explique uniquement les actions à effectuer pour résoudre le problème de version HDP dans un Job Spark. Vous devez configurer correctement les autres parties de votre Job avant de pouvoir l'exécuter avec succès.
Cette page vous a-t-elle aidé ?
Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !