Traiter une liste d'appareils d'utilisateurs et d'utilisatrices avec des requêtes - Cloud

Guide des processeurs de Talend Cloud Pipeline Designer

Version
Cloud
Language
Français (France)
Product
Talend Cloud
Module
Talend Pipeline Designer
Content
Création et développement > Création de Pipelines

Avant de commencer

  • Vous avez précédemment créé une connexion au système stockant vos données source.

    Ici, une connexion de test.

  • Vous avez précédemment ajouté le jeu de données contenant vos données source.

    Ici, un fichier hiérarchique .json contenant un sondage concernant les appareils des utilisateurs et utilisatrices, dont le type d'appareil, la date d'achat, l'adresse IP, etc. (téléchargez le fichier query_language-devices.json dans l'onglet Téléchargements dans le panneau de gauche de cette page).

  • Vous avez créé la connexion et le jeu de données associé qui contiendra les données traitées.

    Ici, un fichier stocké dans un bucket S3.

Procédure

  1. Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
  2. Donnez-lui un nom significatif.

    Exemple

    Query and process a list of user devices
  3. Cliquez sur ADD SOURCE (AJOUTER UNE SOURCE) pour ouvrir le panneau vous permettant de sélectionner vos données source, ici un sondage sur les appareils d'utilisateurs et d'utilisatrices avec des données hiérarchiques.

    Exemple

  4. Sélectionnez votre jeu de données et cliquez sur Select (Sélectionner) pour l'ajouter au pipeline.
    Renommez-le si nécessaire.
  5. Cliquez sur et ajoutez un processeur Data Shaping Language au pipeline. Le panneau de Configuration s’affiche.
  6. Donnez un nom significatif au processeur.

    Exemple

    query recent devices
  7. Dans la zone Data Shaping Language, saisissez :
    FROM devices AS dv
    WHERE toDate(dv.purchase_date) > toDate("2015-01-01")
    SELECT {
    device_type = name,
    purchase_date = dv.purchase_date,
    ip_address = ip }
    Ce code vous permet :
    • de définir dv comme alias des enregistrements devices,

    • de filtrer les appareils acquis après le 1er janvier 2015,

    • de renommer et d'aplatir certains enregistrements : name devient device_type, ip devient ip_address.

    Pour plus d'informations concernant le langage de requêtes, consultez le Guide de référence de Data Shaping Language.

  8. Cliquez sur SAVE (SAUVEGARDER) pour sauvegarder votre configuration. L'aperçu vous permet de visualiser la nouvelle structure : Maintenant que la structure est aplatie, un plus grand nombre d'enregistrements est écrit en sortie et seuls les appareils acquis après le 1er janvier 2015 s'affichent.
  9. Cliquez sur et ajoutez un processeur Filter au pipeline. Le panneau de Configuration s’affiche.
  10. Donnez un nom significatif au processeur.

    Exemple

    keep records about phones
  11. Dans la zone Filter :
    1. Sélectionnez .device_type dans la liste Input, pour filtrer les clients en se basant sur cette valeur.
    2. Sélectionnez None dans la liste Optionally select a function to apply, car vous ne souhaitez pas appliquer de fonction lors du filtre des enregistrements.
    3. Sélectionnez == dans la liste Operator et saisissez phone dans le champ value, car vous souhaitez filtrer les utilisateurs et utilisatrices avec un téléphone.
    4. Cliquez sur SAVE pour sauvegarder votre configuration. L'aperçu vous permet de visualiser les enregistrements correspondant aux critères de filtre (les utilisateurs et utilisatrices avec un téléphone).
  12. Cliquez sur l'élément ADD DESTINATION du pipeline pour ouvrir le panneau vous permettant de sélectionner le jeu de données qui contiendra les données traitées.
    Renommez-le si nécessaire.
  13. Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, sélectionnez votre profil d'exécution dans la liste (pour plus d'informations, consultez Run profiles).
  14. Cliquez sur l'icône d'exécution pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d’exécution. Les données sont traitées selon les conditions spécifiées à l'aide du langage de requête et la sortie est envoyée vers le système cible spécifié.