Traiter et déplacer des fichiers situés sur un serveur FTP - Cloud

Guide des connecteurs des applications Talend Cloud
Version
Cloud
Language
Français
Product
Talend Cloud
Module
Talend Data Inventory
Talend Data Preparation
Talend Pipeline Designer
Content
Administration et monitoring > Gestion des connexions
Création et développement > Création de Pipelines
Last publication date
2024-03-21

Ce scénario a pour objectif de vous aider à configurer et à utiliser des connecteurs dans un pipeline. Ce scénario doit être adapté en fonction de votre environnement et de votre cas d'utilisation.

Procédure

  1. Cliquez sur Connections (Connexions) > Add connection (Ajouter une connexion).
  2. Dans le panneau qui s'ouvre, sélectionnez le type de connexion à créer.

    Exemple

    FTP
  3. Sélectionnez votre moteur dans la liste Engine.
    Remarque :
    • Il est recommandé d'utiliser Moteur distant Gen2 plutôt que Moteur Cloud pour le design pour un traitement avancé des données.
    • Si aucun Moteur distant Gen2 n'a été créé depuis Talend Management Console ou s'il existe mais semble indisponible, ce qui signifie qu'il n'est pas en cours de fonctionnement, vous ne pourrez pas sélectionner de type de connexion (Connection type) dans la liste ou sauvegarder la nouvelle connexion.
    • Les types de connexion disponibles dépendent du moteur sélectionné.
  4. Sélectionnez le type de connexion à créer.
    Ici, sélectionnez FTP.
  5. Renseignez les propriétés de la connexion pour accéder à votre serveur FTP, comme décrit dans Propriétés FTP, vérifiez la connexion et cliquez sur Add dataset (Ajouter un jeu de données).
  6. Dans le panneau Add a new dataset (Ajouter un jeu de données), renseignez les propriétés requises pour pointer vers le répertoire FTP dans lequel est situé votre fichier, puis cliquez sur View sample (Voir l'échantillon) pour voir un aperçu de votre échantillon du jeu de données.
    Ici, le fichier à récupérer est un fichier CSV listant les restaurants de Baltimore, situé dans un dossier Talend/Files :
  7. Cliquez sur Validate (Valider) pour sauvegarder votre jeu de données.
  8. Au sein de la même connexion FTP, ajoutez un autre jeu de données utilisé comme destination dans votre pipeline. Ici, faites pointer vers le dossier Talend/Out.
  9. Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
  10. Donnez-lui un nom significatif.

    Exemple

    Traiter et déplacer des fichiers situés sur un serveur FTP
  11. Cliquez sur ADD SOURCE et sélectionnez votre jeu de données source, restaurants on FTP dir dans le panneau qui s'ouvre.
  12. Cliquez sur pour ajouter des processeurs au pipeline, par exemple un processeur Aggregate pour lister toutes les adresses des restaurants.
  13. Configurez le processeur. Dans la zone Operations :
    1. Sélectionnez .location dans la liste Field path.
    2. Sélectionnez List dans la liste Operation.
    3. Saisissez le nom du champ de sortie Output field name, ici address.
    4. Sauvegardez votre configuration.

    Les adresses des restaurants ont été agrégées en un seul enregistrement.

  14. Cliquez sur pour ajouter un processeur Normalize au pipeline, afin d'aplatir l'enregistrement d'adresses et de scinder chaque entrée en un enregistrement séparé.
  15. Configurez le processeur. Dans la zone Operations :
    1. Sélectionnez .address dans la liste Field path to normalize.
    2. Activez l'option Is list.
    3. Sauvegardez votre configuration.
  16. Cliquez sur l'élément ADD DESTINATION dans le pipeline pour ouvrir le panneau vous permettant de sélectionner le répertoire de sortie FTP dans lequel votre fichier de sortie sera chargé.
  17. Donnez un nom significatif à la destination, addresses on FTP out dir par exemple.
  18. Dans l'onglet Configuration de la destination, vérifiez que le fichier à charger ne dépasse pas la limite de taille.
  19. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.
  20. Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, cliquez sur le bouton Run (Exécuter) pour ouvrir le panneau vous permettant de sélectionner votre profil d'exécution.
  21. Sélectionnez dans la liste votre profil d'exécution (pour plus d'informations, consultez Profils d'exécution), puis cliquez sur Run (Exécuter) pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d'exécution. Les données des restaurants stockées dans un répertoire FTP ont été traitées et le fichier de sortie est chargé dans le répertoire FTP cible spécifié :

  • Le répertoire FTP cible contient le fichier chargé :

  • Le fichier de sortie CSV avec la liste des adresses des restaurants :