Configurer le dernier Job - 7.2

Exemples de Jobs Big Data

Version
7.2
Language
Français (France)
Product
Talend
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Création de Jobs
Création et développement > Création de Jobs > Distributions Hadoop
Création et développement > Création de Jobs > Frameworks de Jobs > Standard
Dans cette étape, vous configurez de dernier Job, F_Read_Results, afin de lire les données de résultats depuis Hadoop et les afficher dans la console du système.

Procédure

  1. Double-cliquez sur le premier tHDFSInput pour ouvrir sa vue Basic settings.
  2. Afin d'utiliser une connexion à HDFS centralisée, ouvrez la liste Property Type et sélectionnez Repository. Cliquez ensuite [...] afin d'ouvrir la boîte de dialogue [Repository Content].
  3. Sélectionnez la connexion à HDFS définie pour la connexion à la base de données HDFS puis cliquez sur OK.

    Tous les détails de connexion sont automatiquement saisis dans les champs appropriés.

  4. Appliquez le schéma générique ip_count à ce composant. Le schéma doit contenir deux colonnes, host (de type String et d'une longueur de 50 caractères) et count (de type Integer et d'une longueur de 5 caractères),
  5. Dans le champ File Name, saisissez le chemin d'accès vers le fichier de résultats dans HDFS, /user/hdp/weblog/apache_ip_cnt/part-r-00000 dans cet exemple.
  6. Dans la liste Type, sélectionnez le type de fichier à lire, Text File dans cet exemple.
  7. Dans la vue Basic settings du tLogRow, sélectionnez l'option Table pour une meilleure lisibilité des résultats.
  8. Configurez l'autre sous-Job de la même manière. Cependant, dans le second tHDFSInput :
    1. Appliquez le schéma générique code_count ou configurez manuellement le schéma de ce composant afin qu'il contienne deux colonnes : code (de type Integer et d'une longueur de 5 caractères) et count (de type Integer et d'une longueur de 5 caractères).
    2. Dans le champ File Name, saisissez /user/hdp/weblog/apache_code_cnt/part-r-00000.
  9. Une fois les paramètres des composants définis, appuyez sur Ctrl+S pour sauvegarder la configuration du Job.