Centraliser une connexion Hadoop - Cloud - 7.3

Guide d'utilisation du Studio Talend

Version
Cloud
7.3
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement
Disponible dans...

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Pourquoi et quand exécuter cette tâche

Configurer une connexion à une distribution Hadoop donnée dans le Repository vous permet d'éviter d'avoir à configurer cette connexion à chaque fois que vous souhaitez utiliser la même distribution Hadoop.

Vous devez définir une connexion à Hadoop avant de pouvoir créer, depuis le nœud Hadoop cluster, les connexions à chaque élément Hadoop individuel, comme HDFS ou Hive.

Prérequis :
  • Assurez-vous que la machine cliente sur laquelle est installé le Studio Talend peut reconnaître les noms d'hôtes des nœuds du cluster Hadoop à utiliser. Dans cet objectif, ajoutez les mappings des entrées adresse IP/nom d'hôte pour les services de ce cluster Hadoop dans le fichier hosts de la machine cliente.

    Par exemple, si le nom d'hôte du serveur du NameNode Hadoop est talend-cdh550.weave.local et son adresse IP est 192.168.x.x, l'entrée du mapping est la suivante 192.168.x.x talend-cdh550.weave.local.

  • Le cluster Hadoop à utiliser a été correctement configuré et est en cours de fonctionnement.

  • La perspective Integration est active.

  • Si vous devez vous connecter à MapR à partir du Studio, assurez-vous d'avoir installé le client MapR sur la même machine que le Studio et d'avoir ajouté la bibliothèque client de MapR dans la variable PATH de cette machine. D'après la documentation de MapR, la ou les bibliothèques du client MapR correspondant à chaque OS peuvent être trouvées dans MAPR_INSTALL\ hadoop\hadoop-VERSION\lib\native. Par exemple, pour Windows, la bibliothèque est lib\MapRClient.dll dans le fichier Jar du client MapR. Pour plus d'informations, consultez la page suivante sur le site de MapR : http://www.mapr.com/blog/basic-notes-on-configuring-eclipse-as-a-hadoop-development-environment-for-mapr (en anglais).

Afin de créer une connexion Hadoop dans le Repository, procédez comme suit :

Procédure

  1. Dans l'arborescence Repository de votre Studio, développez Metadata et cliquez-droit sur Hadoop cluster.
  2. Sélectionnez Create Hadoop cluster dans le menu contextuel pour ouvrir l'assistant Hadoop cluster connection.
  3. Renseignez les informations génériques concernant cette connexion, comme le nom, dans le champ Name et la Description, puis cliquez sur Next pour ouvrir la fenêtre Hadoop Configuration Import Wizard vous permettant de sélectionner le mode manuel ou automatique pour configurer la connexion.