Utilisation de Spark avec Talend Data Mapper - 8.0

1. Dans Studio Talend, rendez-vous dans Repository > Metadata.
2. Cliquez-droit sur Hadoop Cluster et sélectionnez Create Hadoop Cluster.
3. Saisissez un nom pour votre cluster et cliquez sur Next.
4. Sélectionnez votre distribution, Cloudera dans cet exemple et sélectionnez la version.
5. Sélectionnez Retrieve configuration from Ambari or Cloudera et cliquez sur Next.
6. Saisissez vos identifiants Cloudera Manager.
   
7. Cliquez sur Connect pour remplir la section Discovered clusters à partir de laquelle vous pouvez récupérer les services.
8. Cliquez sur Next.
9. Cliquez sur Check Services pour voir si tous les services sont activés. Vérifiez le statut des services.

Créez une structure pour votre map.

firstName,lastName,age
John,Doe,20
Jane,Doe,35
Kid,Doe,02

1. Ouvez la perspective Mapping et naviguez jusqu'à Data Mapper > Hierarchical Mapper.
2. Cliquez-droit sur Structures et sélectionnez Menu > New Structure.
3. Sélectionnez Import a structure definition et cliquez sur Next.
4. Sélectionnez CSV et cliquez sur Next.
5. Sélectionnez le fichier échantillon à utiliser et cliquez sur Next.
6. Saisissez le nom de la structure et cliquez sur Next.
7. Dans les propriétés CSV, cochez la case Skip header reading, puis cliquez sur Next et Finish.
   

Une fois le Cluster Hadoop et la Structure créés, définissez le Job Big Data Batch comprenant les composants tHDFSConfiguration, tHMapInput et tLogRow.

1. Ouvrez la perspective Integration et naviguez jusqu'à Repository > Job Designs.
2. Cliquez-droit sur Big Data Batch et sélectionnez Create Big Data Batch Job.
   
3. Renseignez les informations nécessaires pour créer le Job.
4. Faites glisser les métadonnées du Cluster Hadoop que vous avez créé dans le Job Design et sélectionnez le composant tHDFSConfiguration.
5. Ajoutez les composants tHMapInput et tLogRow, puis connectez-les à l'aide d'une connexion Row > Main.
   1. Lorsque le nom de sortie vous est demandé, saisissez Output.
6. Double-cliquez sur le tLogRow et définissez son schéma :
   1. Cliquez sur le bouton [...] correspondant au champ Edit schema.
   2. Dans la section Output (Input), cliquez trois fois sur le bouton [+] pour ajouter trois colonnes et nommez-les firstName, lastName et age.
   3. Cliquez sur le bouton pour copier les colonnes dans le tLogRow_1 (Output).
   
7. Sélectionnez le composant tHMapInput pour ouvrir l'onglet Basic settings.
   1. Cochez la case Define a storage configuration component et sélectionnez le composant tHDFSConfiguration comme composant de stockage.
   2. Spécifiez le fichier d'entrée dans le champ Input.
   3. Cliquez sur le bouton […] près de Configure Component et sélectionnez la structure précédemment créée.
   4. Sélectionnez CSV dans la liste déroulante Input Representation.
   5. Cliquez sur Next et ajoutez le fichier d'entrée et, dans le champ Sample File, puis cliquez sur Run pour vérifier le nombre d'enregistrements trouvés.
      
   6. Cliquez sur Finish.

Mappez les éléments de l'entrée à la structure de sortie et exécutez le Job.

1. Glissez l'élément d'entrée row sur l'élément de sortie OutputRecord.
   Tous les éléments sont automatiquement mappés.

   
2. Cliquez sur Test Run pour voir un aperçu de la sortie.
   Dans cet exemple, elle ressemble à ceci affichée en JSON :

   {
     "Output" : {
       "OutputRecord" : [ {
         "firstName" : "firstName",
         "lastName" : "lastName",
         "age" : "age"
       }, {
         "firstName" : "John",
         "lastName" : "Doe",
         "age" : "20"
       }, {
         "firstName" : "Jane",
         "lastName" : "Doe",
         "age" : "35"
       }, {
         "firstName" : "Kid",
         "lastName" : "Doe",
         "age" : "02"
       } ]
     }
   }

3. Sauvegardez la map et retournez au Job Big Data Batch.
4. Dans l'onglet Run, cliquez sur Run afin de l'exécuter.