Comprendre les variables de contexte utilisées dans le projet démo - 6.1

Talend Data Fabric Guide de prise en main

EnrichVersion
6.1
EnrichProdName
Talend Data Fabric
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Dans le Studio Talend, vous pouvez définir des variables de contexte dans le Repository, dans un projetet les réutiliser dans plusieurs Jobs, en particulier pour vous aider à définir des connexions et d'autres éléments partagés par plusieurs Jobs et processus. Ce procédé présente de nombreux avantages. Par exemple, si vous définissez l'adresse IP d'un NameNode en tant que variable de contexte et que 50 Jobs utilisent cette variable, vous devez simplement mettre à jour cette variable de contexte afin de changer l'adresse IP du NameNode. Ensuite, le studio vous indique tous les Jobs impactés par ce changement et effectue les modifications nécessaires pour vous.

Les variables de contexte du référentiel sont groupées sous le nœud Contexts du Repository. Dans le projet démo Big Data, deux groupes de variables de contexte sont définies dans le Repository : HDP et SQOOP_SCENARIO_CONTEXT.

Pour visualiser ou éditer les paramètres des variables de contexte d'un groupe, double-cliquez sur le nom du groupe dans le Repository afin d'ouvrir l'assistant [Create / Edit a context group] et passez à l'étape suivante.

Les variables de contexte du groupe HDP sont utilisées dans les exemples de la démo du dossier Hortonworks_Sandbox_Samples. Si vous le souhaitez, vous pouvez modifier la valeur de ces variables. Par exemple, si vous souhaitez utiliser l'adresse IP de la plateforme VM de Sandbox plutôt que le nom d'hôte sandbox, vous pouvez remplacer la valeur des variables relatives au nom d'hôte par l'adresse IP. Afin que les exemples de la démo fonctionnent correctement, si vous modifiez l'une des configurations par défaut de la VM Sandbox, vous devez modifier les paramètres de contextes en conséquence.

Nom de la variable

Description

Valeur par défaut

namenode_host

Nom d'hôte du NameNode.

sandbox

namenode_port

Port du NameNode.

8020

user

Nom d'utilisateur pour la connexion au système Hadoop.

sandbox

templeton_host

Nom d'hôte du serveur HCatalog.

sandbox

templeton_port

Port du serveur HCatalog.

50111

hive_host

Nom d'hôte du metastore Hive.

sandbox

hive_port

Port du metastore Hive.

9083

jobtracker_host

Nom d'hôte du Jobtracker.

sandbox

jobtracker_port

Port du Jobtracker.

50300

mysql_host

Nom d'hôte du Sandbox du metastore Hive.

sandbox

mysql_port

Port du metastore Hive.

3306

mysql_user

Nom d'utilisateur pour se connecter au metastore Hive.

hep

mysql_passed

Mot de passe de connexion au metastore Hive.

hep

mysql_testes

Nom de la base de données de test pour le metastore Hive.

testes

hbase_host

Nom d'hôte de HBase.

sandbox

hbase_port

Numéro du port de HBase.

2181

Les variables de contextes du groupe SQOOP_SCENARIO_CONTEXT sont utilisées uniquement dans les exemples de la démo RDBMS_Migration_SQOOP_EE. Si vous souhaitez utiliser la démo RDBMS_Migration_SQOOP_EE, vous devez mettre à jour les variables suivantes avec les informations de la VM de la Sandbox avec vos informations de connexion locale à MySQL.

Nom de la variable

Description

Valeur par défaut

KEY_LOGS_DIRECTORY

Dossier contenant les fichiers de table sur votre machine locale. Le Studio y a un accès total.

C:/Talend/BigData/

MYSQL_DBNAME_TO_MIGRATE

Nom de votre propre base de données MySQL à migrer vers HDFS.

dstar_crm

MYSQL_HOST_or_IP

Nom d'hôte et adresse IP de la base de données MySQL.

192.168.56.1
MYSQL_PORT

Numéro du port de la base de données MySQL.

3306

MYSQL_USERNAME

Nom d'utilisateur pour se connecter à la base de données MySQL.

tisadmin

MYSQL_PWD

Mot de passe de connexion à la base de données MySQL.

HDFS_LOCATION_TARGET

Emplacement cible de la Sandbox HDFS où vous souhaitez charger les données.

/user/hdp/sqoop/

Pour utiliser des variables de contexte d'un référentiel dans un Job, vous devez d'abord importer ces dernières dans le Job en cliquant sur le bouton dans la vue Context. Vous pouvez également définir des variables de contexte dans la vue Contexts du Job. Ces variables sont des variables built-in et fonctionnent uniquement pour ce Job.

La vue Contexts montre uniquement les variables de contexte built-in définies dans le Job et les variables de contexte stockées dans le référentiel importées dans le Job.

Une fois définies, les variables sont référencées dans la configuration des composants. L'exemple suivant montre comment les variables de contexte sont utilisées dans la configuration du composant tHDFSConnection dans un Job Pig du projet démo.

Une fois ces variables définies afin de refléter la manière dont vous avez configuré la Sandbox HortonWorks, les exemples s'exécutent sans nécessiter beaucoup d'intervention. Vous pouvez voir le nombre de fonctions de base qui fonctionnent afin d'avoir de bons exemples à implémenter dans vos projets Big Data.

Pour plus d'informations concernant la définition et l'utilisation des variables de contexte, consultez la section expliquant comment utiliser les contextes et les variables dans le Guide utilisateur du Studio Talend.

Pour plus d'informations concernant comment exécuter un Job dans la console de la vue Run, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations concernant comment exécuter un Job dans la vue Oozie scheduler, consultez le Guide utilisateur du Studio Talend.