Configurer la connexion Hadoop d'un Job MapReduce - 6.5

Talend Real-Time Big Data Platform Studio Guide utilisateur

EnrichVersion
6.5
EnrichProdName
Talend Real-Time Big Data Platform
task
Création et développement
Qualité et préparation de données
EnrichPlatform
Studio Talend

Avant de pouvoir exécuter un Job Talend MapReduce, vous devez configurer sa connexion à Hadoop. Pour ce faire, procédez comme suit :

  1. Dans la vue Repository de la perspective Integration du studio, double-cliquez sur le Job MapReduce, que vous avez créé et que vous souhaitez exécuter, afin de l'ouvrir dans l'espace de modélisation graphique.

  2. Cliquez sur l'onglet Run pour ouvrir la vue correspondante puis sur l'onglet Hadoop Configuration.

    Dans cette vue, vous devez configurer les paramètres pour créer la connexion au cluster Hadoop à utiliser. Pour plus d'informations concernant chaque paramètre de cette vue, consultez Guide de prise en main de Talend Big Data.

    La connexion créée dans cette vue Hadoop configuration fonctionne uniquement pour le Job pour lequel elle a été créée. Lorsque vous exécutez un autre Job vous devez configurer une connexion spécifique au Job en question, dans cette vue.

    Si vous avez terminé la création du Job à l'aide des composants optimisés pour MapReduce, comme expliqué précédemment, le Job est prêt à être exécuté. Sinon, vous devez finaliser la création du Job avant de pouvoir l'exécuter.

La capture d'écran ci-dessous présente un Job MapReduce finalisé, avec une connexion à Hadoop et prêt à être exécuté.

Cliquez sur l'onglet Code pour ouvrir sa vue et visualiser le code MapReduce généré.

Cette capture d'écran affiche une partie du code généré, reflétant le flux de données rejects de votre Job. Vous pouvez constater que ce Job vérifie les informations de configuration et génère différentes classes, telles que InputFormat, OutputFormat, Mapper et Reducer.

Si vous sélectionnez l'une des classe générées, par exemple, tDenormalize_1Reducer.class et que vous appuyez sur F3, le code de cette classe s'affiche dans un nouvel onglet, comme suit :

Dans cette vue, vous pouvez voir comment est effectué le calcul Reduce.