Création d'un nouveau contexte de configuration de Hadoop en dehors du Studio (facultatif) - 6.4

Définition de connexions de contexte Hadoop intelligentes

EnrichVersion
6.4
EnrichProdName
Talend Big Data
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
task
Création et développement > Création de Jobs > Distributions Hadoop
EnrichPlatform
Studio Talend

Vous pouvez contextualiser la connexion à Hadoop pour un Job sans utiliser le Studio.

Lorsque vous n'avez pas le Studio à portée de main mais que vous devez déployer un Job dans un environnement Hadoop différent des environnements Hadoop déjà définis pour ce Job, vous pouvez choisir l'approche manuelle et ajouter un nouveau contexte de connexion à Hadoop.

Si le Job utilise une connexion à Hadoop contextualisée qui a deux contextes, par exemple Default et Dev, après avoir été construite en dehors du Studio, le dossier lib de l'artefact construit (le zip du Job) contient deux jars spéciaux pour les environnements Hadoop donnés. Le nom de ces jars suit un modèle : "hadoop-conf-[nom_de_la_métadonnée_dans_le_référentiel]_[nom_du_contexte].jar".

Le Jar à utiliser lors de l'exécution est défini par le contexte utilisé dans la commande que vous pouvez lire dans le fichier .bat ou le fichier .sh du Job.

La ligne suivante est un exemple de cette commande, qui appelle le contexte Default :

java -Xms256M -Xmx1024M -cp .;../lib/routines.jar;../lib/antlr-runtime-3.5.2.jar;../lib/avro-1.7.6-cdh5.10.1.jar;../lib/commons-cli-1.2.jar;../lib/commons-codec-1.9.jar;../lib/commons-collections-3.2.2.jar;../lib/commons-configuration-1.6.jar;../lib/commons-lang-2.6.jar;../lib/commons-logging-1.2.jar;../lib/dom4j-1.6.1.jar;../lib/guava-12.0.1.jar;../lib/hadoop-auth-2.6.0-cdh5.10.1.jar;../lib/hadoop-common-2.6.0-cdh5.10.1.jar;../lib/hadoop-hdfs-2.6.0-cdh5.10.1.jar;../lib/htrace-core4-4.0.1-incubating.jar;../lib/httpclient-4.3.3.jar;../lib/httpcore-4.3.3.jar;../lib/jackson-core-asl-1.8.8.jar;../lib/jackson-mapper-asl-1.8.8.jar;../lib/jersey-core-1.9.jar;../lib/log4j-1.2.16.jar;../lib/log4j-1.2.17.jar;../lib/org.talend.dataquality.parser.jar;../lib/protobuf-java-2.5.0.jar;../lib/servlet-api-2.5.jar;../lib/slf4j-api-1.7.5.jar;../lib/slf4j-log4j12-1.7.5.jar;../lib/talend_file_enhanced_20070724.jar;mytestjob_0_1.jar; local_project.mytestjob_0_1.myTestJob --context=Default %*

Dans cet exemple, passer de Default à Dev modifie la configuration de Hadoop qui sera chargée dans le Job lors de l'exécution.