Obtenir les données de HDFS

Procédure

Dans l'espace de modélisation, sélectionnez le composant tHDFSGet et cliquez sur l'onglet Component pour définir sa configuration de base.
Sélectionnez Apache 0.20.2 dans la liste Hadoop version.
Dans les champs NameNode URI, Username, Group, saisissez les paramètres de connexion à HDFS. Si vous utilisez WebHDFS, l'emplacement doit être webhdfs://masternode:portnumber ; WebHDFS avec SSL n'est pas supporté.
Dans le champ HDFS directory, saisissez l'emplacement de stockage du fichier chargé dans HDFS. Dans cet exemple, il s'agit de /testFile.
Près du champ Local directory, cliquez sur le bouton [...] pour parcourir votre système jusqu'au dossier spécifié pour l'enregistrement des fichiers extraits d'HDFS. Dans ce scénario, le dossier est : C:/hadoopfiles/getFile/.
Cliquez sur le champ Overwrite file pour développer le menu déroulant.
Dans le menu, sélectionnez always (toujours).
Dans la zone Files, cliquez sur le bouton [+] pour ajouter une ligne dans laquelle vous définissez le fichier à extraire.
Dans la colonne File mask, saisissez *.txt entre guillemets pour remplacer newLine, et laissez la colonne New name telle quelle. Ceci vous permet d'extraire tous les fichiers .txt du dossier spécifié dans HDFS sans en modifier les noms. Dans cet exemple, le fichier est in.txt.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !

Laissez vos commentaires ici