Agréger des informations clients pour calculer les achats - Cloud

Guide des processeurs de Talend Cloud Pipeline Designer

Version
Cloud
Language
Français (France)
Product
Talend Cloud
Module
Talend Pipeline Designer
Content
Création et développement > Création de Pipelines

Avant de commencer

  • Vous avez précédemment créé une connexion au système stockant vos données source.

  • Vous avez précédemment ajouté le jeu de données contenant vos données source.

    Ici, une liste hiérarchique de données clients, contenant l'ID, les informations produits comme le titre et le prix du livre, que vous pouvez trouver jointes à ce document (téléchargez le fichier aggregate-customers.json depuis l'onglet Téléchargements à gauche de la page).

  • Vous avez créé la connexion et le jeu de données associé qui contiendra les données traitées.

    Ici, un fichier stocké dans HDFS.

Procédure

  1. Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
  2. Donnez-lui un nom significatif.

    Exemple

    Aggregate Customer Data to Calculate Purchases
  3. Cliquez sur ADD SOURCE pour ouvrir le panneau vous permettant de sélectionner vos données source, ici une liste de données clients hiérarchiques concernant des achats de livres.

    Exemple

  4. Sélectionnez votre jeu de données et cliquez sur Select (Sélectionner) pour l'ajouter au pipeline.
    Renommez-le si nécessaire.
  5. Cliquez sur et ajoutez un processeur Aggregate au pipeline. Le panneau de configuration s'ouvre.
  6. Donnez un nom significatif au processeur.

    Exemple

    calculate customer purchases
  7. Dans la zone GROUP BY, sélectionnez le champ à utiliser pour votre jeu d'agrégation, ici .customerId.
  8. Dans la zone OPERATIONS :
    1. Sélectionnez .customerId dans la liste Field path et Count dans la liste Operation.
    2. Nommez le champ généré (Output field name), nbOfPurchases par exemple.
    3. Ajoutez un nouvel élément (NEW ELEMENT), sélectionnez .product.price dans la liste Field et Sum dans la liste Operation.
    4. Nommez le champ généré totalPrice, par exemple.
    5. Ajoutez un nouvel élément (NEW ELEMENT), sélectionnez .product.name dans la liste Field path et List dans la liste Operation.
    6. Nommez le champ généré books, par exemple.
  9. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.

    Vous pouvez prévisualiser les données calculées après l'opération d'agrégation : les livres achetés et la somme dépensée par client.

  10. Cliquez sur l'élément ADD DESTINATION dans le pipeline pour ouvrir le panneau vous permettant de sélectionner le jeu de données qui contiendra vos données de sortie (HDFS).

    Renommez-le si nécessaire.

  11. Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, sélectionnez votre profil d'exécution dans la liste (pour plus d'informations, consultez Run profiles).
  12. Cliquez sur l'icône d'exécution pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d'exécution, les achats de livres sont agrégés par client et le flux de sortie est envoyé dans les systèmes cible définis.