Propriétés HDFS - Cloud

Guide des connecteurs des applications Talend Cloud
Version
Cloud
Language
Français
Product
Talend Cloud
Module
Talend Data Inventory
Talend Data Preparation
Talend Pipeline Designer
Content
Administration et monitoring > Gestion des connexions
Création et développement > Création de Pipelines
Last publication date
2023-11-23
Propriétés à configurer pour une connexion à un système de fichiers distribué Hadoop (HDFS) donné.

Connexion HDFS

Propriété

Configuration
Selection (Sélection) Sélectionnez ou saisissez HDFS.
Configuration
Moteur Sélectionnez votre moteur dans la liste.
Connexion User name (Identifiant) Saisissez l'identifiant utilisé pour l'authentification à HDFS.
Description Saisissez un nom d'affichage (obligatoire) et une description (facultative) pour la connexion.

Jeu de données HDFS

Propriété Configuration
Dataset name Saisissez un nom pour le jeu de données. Ce nom sera utilisé comme identifiant unique du jeu de données dans toutes les applications Talend Cloud.
Connexion Sélectionnez votre connexion dans la liste.
HDFS data Path (Chemin d'accès) Saisissez le chemin d'accès aux données à récupérer dans le système de fichiers.
Format config (Formatage de la configuration) Auto detect (Détection auto) Cliquez sur ce bouton pour détecter automatiquement le format des données à récupérer.
Format Vous pouvez également sélectionner dans la liste le format du fichier à récupérer et saisir ou sélectionner les informations relatives au format du fichier :
  • CSV :
    • Record delimiter (Séparateur d'enregistrements) : Sélectionnez le type de séparateur d'enregistrements utilisé dans le fichier à récupérer. SI vous sélectionnez Other (Autre), vous pourrez saisir un séparateur d'enregistrements personnalisé dans le champ Custom record delimiter (Séparateur d'enregistrements personnalisé).
    • Record delimiter (Séparateur d'enregistrements) : Sélectionnez le type de séparateur d'enregistrements utilisé dans le fichier à récupérer. SI vous sélectionnez Other (Autre), vous pourrez saisir un séparateur de champs personnalisé dans le champ Custom field delimiter (Séparateur de champs personnalisé).
    • Text enclosure character (Caractère d'entourage du texte) : saisissez le caractère utilisé pour entourer les champs.
    • Escape character (Caractère d'échappement) : saisissez le caractère à échapper dans les enregistrements à récupérer.
    • Encoding (Encodage) : sélectionnez le type d'encodage utilisé dans le fichier à récupérer. Si vous sélectionnez Other, vous pouvez saisir un type d'encodage personnalisé dans le champ Custom encoding.
    • Set header (Configurer l'en-tête) : activez cette option si le fichier à récupérer contient des lignes d'en-tête et saisissez ou sélectionnez le nombre de lignes à ignorer dans le schéma.
  • Excel :
    • Excel format : sélectionnez le format/la version correspondant au fichier à récupérer.
    • Sheet name (Nom de la feuille) : saisissez le nom de la feuille Excel à récupérer.
    • Set header/footer (Configurer l'en-tête/le pied de page) : activez ces options si le fichier à récupérer contient des lignes d'en-tête et/ou de pied de page et saisissez ou sélectionnez le nombre de lignes à ignorer dans le schéma.
  • Avro : aucun paramètre spécifique n'est requis pour ce format.
  • Parquet : aucun paramètre spécifique n'est requis pour ce format.
  • JSON : aucun paramètre spécifique n'est requis pour ce format.
Des paramètres supplémentaires peuvent être affichés selon si le connecteur est utilisé comme jeu de données source ou de destination.
  • Pour les jeux de données HDFS sources :
    • Force parallelism—ignore escape char and text enclosure parameters (Forcer le parallélisme - ignorer les paramètres de caractères d'échappement et d'entourage du texte) : Activez cette option si vous souhaitez ignorer les caractères d'échappement et les caractères utilisés pour entourer le texte dans votre fichier.
  • Jeux de données de destination cibles :
    • Overwrite (Écraser) : Activez cette option si le fichier existe déjà et que vous souhaitez écraser son contenu.
    • Merge output (Fusionner la sortie) : Activez cette option si le fichier existe déjà et que vous souhaitez fusionner le contenu existant et le contenu mis à jour du fichier.
    • Map input column names to output (Mapper le nom des colonnes d'entrée à la sortie) : Cette option s'applique uniquement aux fichiers ayant un format CSV, JSON ou Excel. Elle permet de s'assurer que les noms des champs d'entrée et de sortie sont identiques.