Configurer une connexion HDFS pour exécution sur YARN

Grâce au composant tHDFSConfiguration, vous pouvez connecter votre système de fichiers HDFS à YARN.

Avant de commencer

Ce tutoriel utilise un cluster Hadoop. Vous devez avoir un cluster Hadoop disponible.
Vous avez également configuré une métadonnée HDFS (consultez Créer une définition de métadonnée de cluster Hadoop et Importer une définition de métadonnée de cluster Hadoop).

Procédure

Dans le Repository, développez Metadata > Hadoop Cluster, puis la métadonnée du cluster Hadoop de votre choix.
1. Développez le dossier HDFS de votre métadonnée de cluster Hadoop.
2. Glissez-déposez la métadonnée HDFS dans l'espace de modélisation graphique (Designer).
3. Sélectionnez un composant d'entrée.
Exemple
Sélectionnez le composant tFileInputDelimited.

La fenêtre Hadoop Configuration Update Confirmation s'ouvre.
Cliquez sur OK.

Résultats

Le Studio Talend met à jour la configuration de YARN afin qu'elle corresponde à celle de la métadonnée du cluster.

Que faire ensuite

Dans la vue Run, cliquez sur Hadoop Configuration. L'exécution est configurée via la métadonnée de connexion HDFS.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !

Laissez vos commentaires ici