Créer un pipeline - Cloud

Guide d'utilisation de Talend Cloud Pipeline Designer

Version
Cloud
Language
Français
Product
Talend Cloud
Module
Talend Pipeline Designer
Content
Administration et monitoring > Monitoring de logs
Administration et monitoring > Monitoring des exécutions
Création et développement > Création de Pipelines
Déploiement > Déploiement > Exécution de Pipelines
Gouvernance de données > Filtrage de données
Qualité et préparation de données > Filtrage de données
Qualité et préparation de données > Gestion des jeux de données
Last publication date
2024-02-12
Créer un pipeline à partir de zéro.

Procédure

  1. Dans la page d'accueil, cliquez sur Pipelines > Add pipeline (Ajouter un pipeline).
  2. Dans la barre d'outils en haut, donnez un nom à votre pipeline.
  3. Pour ajouter une source, cliquez sur ADD SOURCE dans l'espace de travail.
  4. Sélectionnez le jeu de données à utiliser dans votre pipeline :
    • Si vous avez déjà créé un jeu de données, sélectionnez-le dans la liste du panneau [Select a source (Sélectionner une source)] et cliquez sur Select (Sélectionner).
    • Si vous n'avez pas créé de jeu de données, ajoutez-en un en cliquant sur Add dataset (Ajouter un jeu de données comme décrit dans Créer un jeu de données.
  5. Cliquez sur l'icône + afin de sélectionner un ou plusieurs composant·s de traitement selon vos besoins : filtrage, nettoyage, agrégation...
    Dans le panneau [Add a processor], vous pouvez soit sélectionner un processeur dans la liste principale, soit saisir son nom ou sa description dans la zone de texte.
  6. Pour ajouter une destination, un composant cible consommant vos données et les envoyant au système de votre choix, cliquez sur ADD DESTINATION dans l'espace de travail.
  7. Sélectionnez le jeu de données de destination :
    • Si vous avez déjà créé un jeu de données, sélectionnez-le dans la liste du panneau [Select a destination (Sélectionner une destination)] et cliquez sur Select (Sélectionner).
    • Si vous n'avez pas créé de jeu de données, ajoutez-en un en cliquant sur Add dataset (Ajouter un jeu de données comme décrit dans Créer un jeu de données.
    Exemple de pipeline consommant des données provenant d'une entrée S3, traitant et filtrant ces données, afin d'envoyer les données sélectionnées à une autre destination S3.
    Le pipeline affiche une source Amazon S3, un processeur Python, un processeur Filter et un processeur Aggregate, ainsi qu'une destination Amazon S3.

    Notez que, avant d'exécuter votre pipeline, vous pouvez voir un aperçu de vos données à chaque étape du processus de conception.