Scénario : Vérifier l'existence d'un fichier dans HDFS - 6.1

Composants Talend Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Dans ce scénario, un Job à deux composants vérifie si un fichier spécifique existe dans HDFS et retourne un message pour indiquer le résultat de la vérification.

Dans un cas d'utilisation réelle, vous pouvez ensuite traiter le fichier en question selon le résultat de la vérification, à l'aide d'autres composants HDFS fournis avec le Studio Talend.

Lancez la distribution d'Hadoop dans laquelle se trouve le fichier dont vous souhaitez vérifier l'existence.

Relier les composants

  1. Dans la perspective Integration du Studio Talend, créez un Job vide, nommé hdfsexist_file, par exemple, à partir du nœud Job Designs de la vue Repository.

    Pour plus d'informations concernant la création d'un Job, consultez le Guide utilisateur du Studio Talend.

  2. Déposez un tHDFSExist et un tMsgBox dans l'espace de modélisation graphique.

  3. Connectez-les à l'aide d'un lien Trigger > Run if.

Configurer la connexion à HDFS

  1. Double-cliquez sur le composant tHDFSExist pour ouvrir sa vue Component.

  2. Dans la zone Version, sélectionnez la distribution d'Hadoop à laquelle vous vous connectez ainsi que sa version.

  3. Dans la zone Connection, saisissez les valeurs des paramètres nécessaires à la connexion à HDFS.

    Dans un cas d'utilisation réelle, vous pouvez utiliser un tHDFSConnection pour créer une connexion et la réutiliser. Pour plus d'informations, consultez tHDFSConnection.

  4. Dans le champ HDFS Directory, parcourez votre système, ou saisissez le chemin d'accès au dossier dans lequel se trouve le fichier dont vous souhaitez vérifier l'existence. Dans cet exemple, le dossier est le suivant : /user/ychen/data/hdfs/out/dest.

  5. Dans le champ File name or relative path, saisissez le nom du fichier dont vous souhaitez vérifier l'existence. Par exemple, output.csv.

Configurer le message à retourner

  1. Double-cliquez sur le tMsgBox pour ouvrir sa vue Component.

  2. Dans le champ Title, saisissez le titre à utiliser dans la fenêtre de message en cours de création.

  3. Dans la liste Buttons, sélectionnez OK pour choisir le bouton affiché dans la fenêtre de message.

  4. Dans la liste Icon, sélectionnez Icon information.

  5. Dans le champ Message, saisissez le message que vous souhaitez afficher une fois la vérification effectuée. Dans cet exemple, saisissez "This file does not exist!".

Configurer la condition

  1. Cliquez sur le lien If pour ouvrir sa vue Basic settings, dans laquelle vous pouvez configurer la condition pour vérifier l'existence du fichier.

  2. Dans le champ Condition, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables et sélectionnez la variable globale EXISTS. Saisissez un point d'exclamation avant la variable afin de mettre la variable à la forme négative.

Exécuter le Job

  • Appuyez sur F6 pour exécuter le Job.

Une fois exécuté, une fenêtre de message s'ouvre et indique que le fichier nommé output.csv n'existe pas dans le répertoire défini précédemment.

Dans la distribution de HDFS dans laquelle vous avez vérifié l'existence du fichier, parcourez votre système jusqu'au répertoire spécifié. Vous pouvez constater que le fichier n'existe pas.