Propriétés du tHDFSInput MapReduce - 7.0

HDFS

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants File (Intégration) > Composants HDFS
Gouvernance de données > Systèmes tiers > Composants File (Intégration) > Composants HDFS
Qualité et préparation de données > Systèmes tiers > Composants File (Intégration) > Composants HDFS
EnrichPlatform
Studio Talend

Ces propriétés sont utilisées pour configurer le tHDFSInput s'exécutant dans le framework de Jobs MapReduce.

Le composant tHDFSInput MapReduce appartient à la famille MapReduce.

Basic settings

Property type

Schema et Edit Schema

 

 

Folder/File

Si vous souhaitez spécifier plusieurs fichiers ou dossiers dans ce champ, séparez les chemins à l'aide d'une virgule (,).

Si le fichier à lire est un fichier compressé, saisissez son nom ainsi que son extension. Le tHDFSInput décompresse le fichier automatiquement à l'exécution. Les formats de compression, ainsi que les extensions correspondantes, sont :

  • DEFLATE : *.deflate

  • gzip : *.gz

  • bzip2 : *.bz2

  • LZO : *.lzo

Die on error

Type

Row separator

Ce champ n'est pas disponible pour un fichier Sequence.

Field separator

Ce champ n'est pas disponible pour un fichier Sequence.

Header

Saisissez 0 pour ne pas ignorer de ligne dans les données sans en-tête et 1 pour les données dont l'en-tête se trouve dans la première ligne.

Ce champ n'est pas disponible pour un fichier Sequence.

Custom Encoding

Vous pouvez rencontrer des problèmes d'encodage lorsque vous traitez des données stockées dans HDFS. Dans ce cas, cochez cette case pour afficher la liste Encoding.

Sélectionnez l'encodage à partir de la liste ou sélectionnez Custom et définissez-le manuellement.

Ce champ n'est pas disponible pour un fichier Sequence.

Advanced settings

Advanced separator (for number)

Trim all columns

Check column to trim

tStatCatcher Statistics

Cochez cette case pour collecter les données de log au niveau du composant.

Global Variables

Global Variables

Utilisation

Règle d'utilisation

Une fois qu'un Job Map/Reduce est ouvert dans l'espace de modélisation graphique, le tHDFSInput et toute la famille MapReduce apparaissent dans la Palette du .

Hadoop Connection