tFTPFileList - 6.1

Composants Talend Open Studio Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Propriétés du tFTPFileList

Famille du composant

Internet/FTP

 

Fonction

Le composant tFTPFileList fait une boucle sur les fichiers et/ou les dossiers d'un répertoire distant donné.

Objectif

Le tFTPFileList récupère un groupe de fichiers et/ou de dossiers suivant un masque donné et fait une boucle sur chacun d'eux, en se connectant à un répertoire distant via un protocole FTP.

Basic settings

Property Type

Peut être Built-in ou Repository

Depuis la version 5.6, les modes Built-In et Repository sont disponibles dans toutes les solutions de Talend.

 

 

Built-in : Propriétés utilisées ponctuellement.

 

 

Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant. Les champs suivants sont alors pré-remplis à l'aide des données collectées.

 

Use an existing connection/Component List

Cochez cette case et sélectionnez le composant de connexion adéquat à partir de la liste Component List pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

 

Host

Adresse IP.

 

Port

Numéro du port d'écoute.

 

Username et Password

Informations d'authentification de l'utilisateur.

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles, puis cliquez sur OK afin de sauvegarder les paramètres.

 

Remote directory

Chemin d'accès au répertoire distant.

 

Move to the current directory

Cette option apparaît lorsque la case Use an existing connection est cochée. Cochez cette case pour naviguer dans le répertoire spécifié dans le champ Remote directory. Le composant FTP suivant relié au tFTPFileList prend ce répertoire comme racine du répertoire distant lorsque la même connexion est utilisée.

 

File detail

Cochez cette case pour voir toutes les informations du fichier, et non pas juste son nom.

 

SFTP Support

Cochez cette case pour vous connecter au serveur FTP via une connexion SFTP. Les propriétés suivantes sont disponibles :

Authentication method : sélectionnez la méthode d'authentification SFTP, Public key ou Password.

  • Public key : saisissez le chemin d'accès à la clé privée et la phrase secrète pour la clé, dans les champs Private key ou Key Passphrase respectivement.

  • Password : saisissez le mot de passe requis.

Filename encoding : cochez cette case pour paramétrer l'encodage utilisé pour convertir les noms de fichiers de chaînes de caractères à octets. L'encodage utilisé doit être le même que celui utilisé sur le serveur SFTP.

Note

Si la version du serveur SFTP est supérieure à 3, l'encodage doit être UTF-8. Si ce n'est pas le cas, une erreur survient.

 

Connection Mode

Sélectionnez le mode adéquat de connexion au serveur :

Active : vous déterminez le port de connexion à utiliser pour permettre le transfert des données.

Passive : le serveur FTP détermine le port de connexion à utiliser pour permettre le transfert des données.

 

Encoding

Sélectionnez dans la liste un type d'encodage ou sélectionnez Custom et définissez-le manuellement. Ce champ est obligatoire pour la manipulation de données dans des bases de données.

Advanced settings

Use Socks Proxy

Cochez cette case si vous souhaitez utiliser un proxy, puis paramétrez les champs Host, Port, User et Password du proxy.

 

Ignore Failure At Quit (FTP)

Cochez cette case afin d'ignorer les erreurs dues à la fermeture du FTP ou de la bibliothèque.

 

tStatCatcher Statistics

Cochez cette case pour collecter les données de log au niveau du composant.

Global Variables

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

CURRENT_FILE : nom du fichier courant. Cette variable est une variable Flow et retourne une chaîne de caractères.

CURRENT_FILEPATH : nom du fichier courant ainsi que son chemin d'accès. Cette variable est une variable Flow et retourne une chaîne de caractères.

NB_FILE : Indique le nombre de fichiers traités. Cette variable est une variable After et retourne un entier.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Le composant tFTPFilelist est généralement utilisé comme composant seul dans un sous-job mais il peut aussi être utilisé avec d'autres composants.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Limitation

Du fait d'une incompatibilité de licence, un ou plusieurs Jar requis pour utiliser ce composant ne sont pas fournis. Vous pouvez installer les Jar manquants pour ce composant en cliquant sur le bouton Install dans l'onglet Component. Vous pouvez également trouver les Jar manquants et les ajouter dans l'onglet Modules de la perspective Integration de votre studio. Pour plus d'informations, consultez la page https://help.talend.com/display/KB/How+to+install+external+modules+in+the+Talend+products (en anglais) ou la section décrivant comment configurer le studio, dans le Guide d'installation et de migration Talend.

Scénario : Itération sur un répertoire distant

Le scénario suivant décrit un Job de trois composants qui a pour objectif de se connecter à un serveur FTP, de lister les fichiers d'un répertoire distant donné en fonction d'un masque, de les récupérer et de les envoyer vers un répertoire local défini.

Déposer et relier les composants

  1. Cliquez et déposez les composants suivants : tFTPConnection, tFTPFileList et tFTPGet dans l'espace de modélisation.

  2. Cliquez-droit sur le composant tFTPConnection et connectez-le au composant tFTPFileList via une connexion de type OnSubjobOk. Puis connectez le tFTPFileList au tFTPGet à l'aide d'une connexion de type Iterate.

Configurer les composants

Configurer une connexion au serveur FTP

  1. Sélectionnez le tFTPConnection et cliquez sur l'onglet Basic settings de la vue Component pour paramétrer le composant :

  2. Dans le champ Host, renseignez l'adresse IP du serveur FTP.

  3. Dans le champ Port, renseignez le numéro du port d'écoute.

  4. Dans les champs Username et Password, renseignez respectivement le login et le mot de passe de connexion au serveur distant.

  5. Dans la liste Connect Mode, sélectionnez le mode de connexion au serveur FTP que vous souhaitez utiliser.

Configurer une liste de téléchargements FTP

  1. Sélectionnez le tFTPFileList et cliquez sur l'onglet Basic settings de la vue Component pour paramétrer le composant :

  2. Cochez la case Use an existing connection et dans la liste Component list, sélectionnez le composant de connexion tFTPConnection_1. Les informations de connexion sont automatiquement renseignées.

  3. Dans le champ Remote directory, renseignez le chemin relatif du répertoire contenant les fichiers à lister. Décochez la case Move to the current directory.

  4. Dans le champ Filemask, indiquez un masque de fichier. Utilisez les caractères spéciaux si besoin est. Dans cet exemple, on ne veut récupérer que les fichiers délimités (.csv).

Configurer le téléchargement du fichier

  1. Sélectionnez le tFTPGet et cliquez sur l'onglet Basic settings de la vue Component pour paramétrer le composant :

  2. Cochez la case Use an existing connection et dans la liste Component list, sélectionnez le composant de connexion adéquat, tFTPConnection_1 dans cet exemple. Les informations de connexion sont automatiquement renseignées.

  3. Dans le champ Local directory, renseignez le chemin relatif du répertoire de destination des fichiers à récupérer.

  4. Dans le champ Remote directory, renseignez le chemin relatif du répertoire contenant les fichiers à récupérer. Décochez la case Move to the current directory.

  5. Dans la liste Transfer Mode, sélectionnez le mode de transfert FTP que vous souhaitez utiliser.

  6. Dans la liste Overwrite file, sélectionnez l'une des options disponibles pour le transfert du fichier.

  7. Dans le champ Filemask, sélectionnez la variable globale ((String)globalMap.get("tFTPFileList_1_CURRENT_FILEPATH")) de manière à traiter tous les fichiers du répertoire source.

Sauvegarder et exécuter le Job

  1. Appuyez sur les touches Ctrl+S afin de sauvegarder votre Job.

  2. Appuyez sur F6 pour l'exécuter.

Une fois la connexion au serveur FTP établie, les fichiers sont listés dans le répertoire spécifié, selon le masque choisi, puis sont récupérés et stockés dans le répertoire de destination préalablement défini. Vous pouvez vérifier que la copie des fichiers a été réalisée à partir de votre explorateur de disque.