Configurer la connexion à Hadoop d'un Job MapReduce - 6.5

Talend Real-Time Big Data Platform Studio Guide utilisateur

Version
6.5
Language
Français (France)
Product
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement
Qualité et préparation de données

Avant de pouvoir exécuter un Job Talend MapReduce, vous devez configurer sa connexion à Hadoop. Pour définir un espace de noms :

  1. Dans la vue Repository de la perspective Integration du Studio, double-cliquez sur le Job MapReduce, que vous avez créé et que vous souhaitez exécuter, afin de l'ouvrir dans l'espace de modélisation graphique.

  2. Cliquez sur l'onglet Run pour ouvrir la vue correspondante puis sur l'onglet Hadoop Configuration.

    Dans cette vue, vous devez configurer les paramètres pour créer la connexion au cluster Hadoop à utiliser. Pour plus d'informations concernant chaque paramètre de cette vue, consultez le Guide de prise en main de Guide de prise en main de Talend Big Data.

    La connexion créée dans cette vue Hadoop configuration fonctionne uniquement pour le Job pour lequel elle a été créée. Lorsque vous exécutez un autre Job vous devez configurer une connexion spécifique au Job en question, dans cette vue.

    Si vous avez terminé la création du Job à l'aide des composants optimisés pour MapReduce, comme expliqué précédemment, le Job est prêt à être exécuté.

La capture d'écran ci-dessous présente un Job MapReduce finalisé, avec une connexion à Hadoop et prêt à être exécuté.

Cliquez sur l'onglet Code pour ouvrir sa vue et visualiser le code MapReduce généré.

Cette capture d'écran affiche une partie du code généré, reflétant le flux de données rejects de votre Job. Vous pouvez constater que ce Job vérifie les informations de configuration et génère différentes classes, telles que InputFormat, OutputFormat, Mapper et Reducer.

Si vous sélectionnez l'une des classe générées, par exemple, tDenormalize_1Reducer.class et que vous appuyez sur F3, le code de cette classe s'affiche dans un nouvel onglet, comme suit :

Dans cette vue, vous pouvez voir comment est effectué le calcul Reduce.