Trouver la valeur de hdp.version à utiliser - 7.0

Problème de variable de version HDP dans des Jobs MapReduce et Spark

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
task
Création et développement > Création de Jobs > Distributions Hadoop > Hortonworks
Création et développement > Création de Jobs > Frameworks de Jobs > MapReduce
Création et développement > Création de Jobs > Frameworks de Jobs > Spark Batch
Création et développement > Création de Jobs > Frameworks de Jobs > Spark Streaming
EnrichPlatform
Studio Talend

Procédure

Identifiez la version de votre cluster Hortonwork.
  • Vous pouvez demander directement à l'administrateur de votre cluster quelle version vous devez utiliser.

  • Vous pouvez aussi consulter le répertoire /usr/hdp/ de chaque machine de votre cluster. Ce dossier contient généralement plusieurs versions et un lien symbolique nommé current pointe vers la valeur la plus récente que vous devez utiliser. Par exemple :
    [root@sandbox /]# ls  -lth /usr/hdp/
    total 16K
    drwxr-xr-x 50 root root 4.0K Jun  5 07:59 2.6.0.3-8
    drwxr-xr-x 32 root root 4.0K May  5 13:19 2.5.0.0-1245
    drwxr-xr-x  3 root root 4.0K May  5 13:18 share
    drwxr-xr-x  2 root root 4.0K May  5 12:48 current -> 2.6.0.3-8

    Dans cet exemple, la version à utiliser est hdp.version=2.6.0.3-8.

Résultats

Vous devez ensuite configurer le Job du Studio Talend à utiliser.
  1. Pour les Jobs Spark Jobs, consultez Résoudre le problème de variable hdp.version pour les Jobs Spark.

  2. Pour les Jobs MapReduce, consultez Résoudre le problème de variable hdp.version pour les Jobs MapReduce.