Traiter une liste d'appareils d'utilisateurs et d'utilisatrices avec des requêtes - Cloud

Guide des processeurs de Talend Cloud Pipeline Designer
Version
Cloud
Language
Français
Product
Talend Cloud
Module
Talend Pipeline Designer
Content
Création et développement > Création de Pipelines
Last publication date
2024-02-27
Bêta

Un pipeline avec une source, un processeur Data Shaping Language, un processeur Filter et une destination.

Avant de commencer

  • Vous avez précédemment créé une connexion au système stockant vos données source.

    Ici, une connexion de test.

  • Vous avez précédemment ajouté le jeu de données contenant vos données source.

    Téléchargez et extrayez le fichier query_language-devices.zip. Il contient un fichier .json hiérarchique relatif à un sondage concernant les appareils des utilisateur·trices, notamment le type d'appareil, la date d'achat ou encore les adresses IP.

  • Vous avez créé la connexion et le jeu de données associé qui contiendra les données traitées.

    Ici, un fichier stocké dans un bucket S3.

Procédure

  1. Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
  2. Donnez-lui un nom significatif.

    Exemple

    Query and process a list of user devices
  3. Cliquez sur ADD SOURCE (AJOUTER UNE SOURCE) pour ouvrir le panneau vous permettant de sélectionner vos données source, ici un sondage sur les appareils d'utilisateurs et d'utilisatrices avec des données hiérarchiques.

    Exemple

    Aperçu d'un échantillon de données concernant les appareils des utilisateur·trices.
  4. Sélectionnez votre jeu de données et cliquez sur Select (Sélectionner) pour l'ajouter au pipeline.
    Renommez-le si nécessaire.
  5. Cliquez sur le bouton + et ajoutez un processeur Data Shaping Language au pipeline. Le panneau de Configuration s’affiche.
  6. Donnez un nom significatif au processeur.

    Exemple

    query recent devices
  7. Dans la zone Data Shaping Language, saisissez : 
    FROM devices AS dv
WHERE toDate(dv.purchase_date) > toDate("2015-01-01")
SELECT {
device_type = name,
purchase_date = dv.purchase_date,
ip_address = ip }
    Ce code vous permet :

    • de définir dv comme alias des enregistrements devices,

    • de filtrer les appareils acquis après le 1er janvier 2015,

    • de renommer et d'aplatir certains enregistrements : name devient device_type, ip devient ip_address.

    Pour plus d'informations concernant la syntaxe du langage de requêtes, consultez le Guide de référence de Talend Data Shaping Language.

  8. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.

    L'aperçu vous permet de visualiser la nouvelle structure : Maintenant que la structure est aplatie, un plus grand nombre d'enregistrements est écrit en sortie et seuls les appareils acquis après le 1er janvier 2015 s'affichent.

    Aperçu du processeur Data Shaping Language après traitement des enregistrements liés aux appareils avec une requête.
  9. Cliquez sur le bouton + et ajoutez un processeur Filter au pipeline. Le panneau de Configuration s’affiche.
  10. Donnez un nom significatif au processeur.

    Exemple

    keep records about phones
  11. Dans la zone Filter :
    1. Sélectionnez .device_type dans la liste Input, pour filtrer les clients en se basant sur cette valeur.
    2. Sélectionnez None dans la liste Optionally select a function to apply, car vous ne souhaitez pas appliquer de fonction lors du filtre des enregistrements.
    3. Sélectionnez == dans la liste Operator et saisissez phone dans le champ value, car vous souhaitez filtrer les utilisateurs et utilisatrices avec un téléphone.
    4. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration. L'aperçu vous permet de visualiser les enregistrements correspondant aux critères de filtre (les utilisateurs et utilisatrices avec un téléphone).
      Aperçu du processeur Filter après application d'un filtre pour conserver les enregistrements concernant les numéros de téléphone.
  12. Cliquez sur ADD DESTINATION (AJOUTER UNE DESTINATION) dans le pipeline pour ouvrir le panneau vous permettant de sélectionner le jeu de données qui contiendra vos données traitées.
    Renommez-le si nécessaire.
  13. Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, cliquez sur le bouton Run (Exécuter) pour ouvrir le panneau vous permettant de sélectionner votre profil d'exécution.
  14. Sélectionnez dans la liste votre profil d'exécution (pour plus d'informations, consultez Profils d'exécution), puis cliquez sur Run (Exécuter) pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d’exécution. Les données sont traitées selon les conditions spécifiées à l'aide du langage de requête et la sortie est envoyée vers le système cible spécifié.