Création d'un nouveau contexte de configuration de Hadoop en dehors du Studio (facultatif)
Vous pouvez contextualiser la connexion à Hadoop pour un Job sans utiliser le Studio.
Lorsque vous n'avez pas le Studio à portée de main mais que vous devez déployer un Job dans un environnement Hadoop différent des environnements Hadoop déjà définis pour ce Job, vous pouvez choisir l'approche manuelle et ajouter un nouveau contexte de connexion à Hadoop.
Si le Job utilise une connexion à Hadoop contextualisée qui a deux contextes, par exemple Default et Dev, après avoir été construite en dehors du Studio, le dossier lib de l'artefact construit (le zip du Job) contient deux jars spéciaux pour les environnements Hadoop donnés. Le nom de ces jars suit un modèle : "hadoop-conf-[nom_de_la_métadonnée_dans_le_référentiel]_[nom_du_contexte].jar".
Le Jar à utiliser lors de l'exécution est défini par le contexte utilisé dans la commande que vous pouvez lire dans le fichier .bat ou le fichier .sh du Job.
La ligne suivante est un exemple de cette commande, qui appelle le contexte Default :
java -Xms256M -Xmx1024M -cp .;../lib/routines.jar;../lib/antlr-runtime-3.5.2.jar;../lib/avro-1.7.6-cdh5.10.1.jar;../lib/commons-cli-1.2.jar;../lib/commons-codec-1.9.jar;../lib/commons-collections-3.2.2.jar;../lib/commons-configuration-1.6.jar;../lib/commons-lang-2.6.jar;../lib/commons-logging-1.2.jar;../lib/dom4j-1.6.1.jar;../lib/guava-12.0.1.jar;../lib/hadoop-auth-2.6.0-cdh5.10.1.jar;../lib/hadoop-common-2.6.0-cdh5.10.1.jar;../lib/hadoop-hdfs-2.6.0-cdh5.10.1.jar;../lib/htrace-core4-4.0.1-incubating.jar;../lib/httpclient-4.3.3.jar;../lib/httpcore-4.3.3.jar;../lib/jackson-core-asl-1.8.8.jar;../lib/jackson-mapper-asl-1.8.8.jar;../lib/jersey-core-1.9.jar;../lib/log4j-1.2.16.jar;../lib/log4j-1.2.17.jar;../lib/org.talend.dataquality.parser.jar;../lib/protobuf-java-2.5.0.jar;../lib/servlet-api-2.5.jar;../lib/slf4j-api-1.7.5.jar;../lib/slf4j-log4j12-1.7.5.jar;../lib/talend_file_enhanced_20070724.jar;mytestjob_0_1.jar; local_project.mytestjob_0_1.myTestJob --context=Default %*Dans cet exemple, passer de Default à Dev modifie la configuration de Hadoop qui sera chargée dans le Job lors de l'exécution.
Cette page vous a-t-elle aidé ?
Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !