|
Famille du composant |
Internet | |
|
Fonction |
Le composant tFileFetch récupère un fichier à partir d'un protocole. | |
|
Objectif |
Ce composant permet de récupérer des données d'un fichier à partir d'un protocole. | |
|
Basic settings |
Protocol |
Sélectionnez parmi la liste suivante le protocole à utiliser, puis renseignez les champs correspondants : http, https, ftp, smb. Les propriétés peuvent différer légèrement en fonction du type de protocole sélectionné. Les champs additionnels sont définis dans ce tableau à la suite des propriétés générales. |
|
|
URI |
Saisissez l'URI du site sur lequel le fichier doit être récupéré. |
|
|
Use cache to save the resource | Cochez cette case pour enregistrer les données dans le cache. Cette option vous permet de traiter directement le flux de données du fichier (en mode stream) sans sauvegarder ce fichier sur votre disque. Elle permet donc un gain de temps et de performance. |
|
Domain |
Saisissez le nom du domaine du serveur Microsoft. Disponible pour le protocole smb. | |
|
Username et Password |
Saisissez l'identifiant utilisateur et le mot de passe de connexion au serveur. Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles, puis cliquez sur OK afin de sauvegarder les paramètres. Disponible pour le protocole smb. | |
|
|
Destination directory |
Sélectionnez le répertoire de destination dans lequel le fichier récupéré sera placé. |
|
|
Destination Filename |
Saisissez le nouveau nom du fichier récupéré. |
|
Create full path according to URI |
Cette case permet de reproduire l'arborescence de répertoires de l'URI. Pour enregistrer le fichier à la racine de votre répertoire de destination, décochez la case. Disponible pour les protocoles http, https et ftp. | |
|
Add header |
Cochez cette case si vous souhaitez ajouter un ou plusieurs en-tête(s) comme conditions de récupération. Dans le tableau Headers, saisissez le(s) paramètre(s) d'en-tête HTTP dans le champ Name et la valeur correspondante dans le champ Value. Disponible pour les protocoles http et https. | |
|
POST method |
Cette case est cochée par défaut, elle permet d'utiliser la méthode POST. Dans le tableau Parameters, saisissez le nom de la ou des variable(s) dans le champ Name et leur valeur correspondante dans le champ Value. Décochez cette case si vous souhaitez utiliser la méthode GET. Disponible pour les protocoles http et https. | |
|
Die on error |
Décochez cette case pour passer les lignes en erreur et terminer le traitement des lignes sans erreur. Disponible pour les protocoles http, https et ftp. | |
|
Read Cookie |
Cochez cette case pour que le tFileFetch charge un cookie d'authentification d'une page Web. Disponible pour les protocoles http, https, ftp et smb. | |
|
Save Cookie |
Cochez cette case pour sauvegarder le cookie d'authentification Web. Cela signifie que vous n'aurez plus à vous identifier sur le même site Web. Disponible pour les protocoles http, https, ftp et smb. | |
|
Cookie file |
Saisissez le chemin d'accès complet au fichier à utiliser pour sauvegarder les cookies. Cliquez sur le bouton [...] et parcourez votre système jusqu'au fichier dans lequel sauvegarder votre cookie. Disponible pour les protocoles http, https, ftp et smb. | |
| Cookie policy | Sélectionnez une politique relative aux cookies dans la liste déroulante. Quatre options sont disponibles : BROWSER_COMPATIBILITY, DEFAULT, NETSCAPE et RFC_2109. Disponible pour les protocoles http, https, ftp et smb. | |
| Single cookie header | Cochez cette case afin de rassembler tous les cookies dans l'en-tête de la requête afin d'obtenir une compatibilité maximum entre les différents serveurs. Disponible pour les protocoles http, https, ftp et smb. | |
|
Advanced settings |
tStatCatcher Statistics |
Cochez cette case pour collecter les données de log au niveau du composant. |
|
Timeout |
Nombre de millisecondes avant fermeture de la connexion au protocole. Disponible pour les protocoles http et https. | |
|
Print response to console |
Cochez cette case pour imprimer la réponse du serveur dans la console. Disponible pour les protocoles http et https. | |
|
Upload file |
Cochez cette case pour charger un ou plusieurs fichier(s) sur le serveur. Puis, dans la table Files qui s'affiche, cliquez sur le bouton [+] afin d'ajouter le (les) fichier(s) à charger et définissez les paramètres suivant pour chaque fichier :
Disponible pour les protocoles http et https. | |
|
Enable proxy server |
Cochez cette case si vous vous connectez derrière un proxy et renseignez les informations correspondantes. Disponible pour les protocoles http, https et ftp. | |
|
Enable NTLM Credentials |
Cochez cette case si vous utiliser un protocole d'authentification NTLM. Domain : Nom de domaine du client. Host : Adresse IP du client. Disponible pour les protocoles http, https et ftp. | |
|
Need authentication |
Cochez la case d'authentification et renseignez le nom de l'utilisateur dans le champs Username et son mot de passe dans le champs Password, si cela est nécessaire pour accéder au protocole. Disponible pour les protocoles http et https. | |
|
Support redirection |
Cochez cette case pour répéter la requête de redirection jusqu'à ce que la redirection soit effective et que le fichier puisse être récupéré. Disponible pour les protocoles http, https et ftp. | |
|
Global Variables |
ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option. INPUT_STREAM : le contenu du fichier récupéré. Cette variable est une variable Flow et retourne une classe InputStream. Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant. Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser. Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend. | |
|
Utilisation |
Ce composant est généralement utilisé en composant de départ pour alimenter le flux d'entrée d'un Job et est souvent utilisé avec un lien de type OnSubjobOk ou OnComponentOk, en fonction du contexte. | |
Log4j | Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend. Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais). | |
| Limitation | Du fait d'une incompatibilité de licence, un ou plusieurs Jar requis pour utiliser ce composant ne sont pas fournis. Vous pouvez installer les Jar manquants pour ce composant en cliquant sur le bouton Install dans l'onglet Component. Vous pouvez également trouver les Jar manquants et les ajouter dans l'onglet Modules de la perspective Integration de votre studio. Pour plus d'informations, consultez la page https://help.talend.com/display/KB/How+to+install+external+modules+in+the+Talend+products (en anglais) ou la section décrivant comment configurer le studio, dans le Guide d'installation et de migration Talend. | |
Ce scénario décrit un Job comprenant trois composants, qui récupère un fichier d'un site internet HTTP, lit des données du fichier récupéré et affiche les données dans la console.
De la Palette, déposez les composants tFileFetch, tFileInputDelimited et tLogRow dans l'espace de modélisation graphique.
Reliez le tFileFetch au tFileInputDelimited à l'aide d'un lien Trigger > OnSubjobOk ou OnComponentOk.
Reliez le tFileInputDelimited au tLogRow à l'aide d'un lien Row > Main.
Double-cliquez sur le tFileFetch pour ouvrir sa vue Basic settings.
Sélectionnez le protocole que vous souhaitez utiliser. Ici, utilisez le protocole http.
Dans le champ URI, saisissez l'URI où le fichier peut être récupéré. Vous pouvez coller l'URI directement dans votre navigateur afin de visualiser les données du fichier.
Dans le champ Destination directory, sélectionnez le répertoire dans lequel le fichier récupéré doit être stocké. Dans cet exemple, saisissez D:/Output.
Dans le champ Destination filename, saisissez le nouveau nom du fichier si vous souhaitez le renommer. Dans cet exemple, new.txt.
Si nécessaire, cochez la case Add header et définissez une ou plusieurs requêtes HTTP comme conditions de récupération. Par exemple, vous pouvez récupérer le fichier s'il a été modifié depuis une date précise.
Dans le tableau Headers, dans le champ Name, saisissez "If-Modified-Since" puis saisissez "Sat, 29 Oct 1994 19:43:31 GMT" dans le champ Value. Pour plus d'informations concernant la définition d'en-têtes HTTP, consultez Header Field Definitions (en anglais).
Double-cliquez sur le tFileInputDelimited pour ouvrir sa vue Basic settings.
Dans le champ File name, saisissez le chemin d'accès complet au fichier récupéré stocké localement.
Cliquez sur le bouton [...] à côté du champ Edit schema pour ouvrir la boîte de dialogue [Schema]. Dans cet exemple, ajoutez une colonne output pour stocker les données du fichier récupéré.
Laissez les autres paramètres tels qu'ils sont.
Ce scénario décrit un Job comprenant deux composants, qui se connecte à un site Web HTTP donné et, à l'aide d'un cookie stocké dans un répertoire local spécifié, récupère les données de ce site.
Déposez deux composants tFileFetch de la Palette dans l'espace de modélisation graphique.
Reliez ces deux composants (en tant que sous-jobs) à l'aide d'un lien Trigger > OnSubjobOk.
Configurer le premier sous-job
Double-cliquez sur le tFileFetch_1 afin d'ouvrir sa vue Component et définir ses propriétés.
Dans la liste Procotol, sélectionnez le protocole que vous souhaitez utiliser. Ici, utilisez le protocole https.
Dans le champ URI, saisissez l'URI via laquelle vous pouvez vous connecter au site Web et récupérer la page Web. Dans cet exemple, l'URI est
https://www.codeproject.com/script/Membership/LogOn.aspx?download=true.Dans le champ Destination directory, parcourez votre répertoire jusqu'au dossier dans lequel stocker la page Web récupérée. Ce dossier sera créé à la volée s'il n'existe pas. Dans cet exemple, saisissez D:/download.
Dans le champ Destination filename, saisissez un nouveau nom pour la page Web si vous souhaitez le modifier. Dans cet exemple, saisissez codeproject.html.
Dans le tableau Parameters, cliquez deux fois sur le bouton [+] pour ajouter deux lignes et renseignez les informations d'authentification pour accéder au site Web souhaité.
Dans la colonne Name du tableau Parameters, saisissez respectivement le nom des deux lignes, Email et Password, requises par le site Web auquel vous vous connectez.
Dans la colonne Value, saisissez les informations correspondantes, respectivement votre adresse e-mail et votre mot de passe.
Cochez la case Save cookie.
Dans le champ Cookie file, saisissez le chemin d'accès complet au fichier dans lequel vous souhaitez stocker le cookie. Dans cet exemple, le chemin est D:/download/cookie.
Cliquez sur l'onglet Advanced settings pour ouvrir cette vue.
Cochez la case Support redirection afin que la requête de redirection soit répétée jusqu'à ce que la redirection réussisse.
Configurer le second sous-job
Double-cliquez sur le tFileFetch_2 afin d'ouvrir sa vue Component et définir ses propriétés.
Dans la liste Procotol, sélectionnez http.
Dans le champ URI, saisissez l'adresse à partir de laquelle récupérer les fichiers qui vous intéressent. Dans cet exemple, l'adresse est
http://www.codeproject.com/script/articles/download.aspx?file=/KB/DLL/File_List_Downloader/FLD02June2011_Source.zip&rp=http://www.codeproject.com/Articles/203991/File-List-Downloader.Dans le champ Destination directory, parcourez votre répertoire jusqu'au dossier dans lequel vous souhaitez stocker les fichiers récupérés. Ce dossier peut être automatiquement créé s'il n'existe pas durant le processus d'exécution. Dans cet exemple, saisissez D:/download.
Dans le champ Destination Filename, saisissez un nouveau nom pour le fichier si vous souhaitez le modifier. Dans cet exemple, saisissez source.zip.
Décochez la case POST method pour désactiver le tableau Parameters.
Cochez la case Read cookie.
Dans le champ Cookie file, parcourez votre système jusqu'au fichier utilisé pour sauvegarder le cookie. Dans cet exemple, le fichier est D:/download/cookie.
Pour un exemple de transfert de données en mode stream, consultez Scénario 2 : Lire les données d'un fichier distant en mode stream.