Insérer des données filtrées dans une table Azure Cosmos DB - Cloud

Guide des connecteurs des applications Talend Cloud

Version
Cloud
Language
Français
Product
Talend Cloud
Module
Talend Data Inventory
Talend Data Preparation
Talend Pipeline Designer
Content
Administration et monitoring > Gestion des connexions
Création et développement > Création de Pipelines
Last publication date
2024-03-21

Ce scénario a pour objectif de vous aider à configurer et à utiliser des connecteurs dans un pipeline. Ce scénario doit être adapté en fonction de votre environnement et de votre cas d'utilisation.

Avant de commencer

Procédure

  1. Cliquez sur Connections (Connexions) > Add connection (Ajouter une connexion).
  2. Dans le panneau qui s'ouvre, sélectionnez le type de connexion à créer.

    Exemple

    Cosmos DB
  3. Sélectionnez votre moteur dans la liste Engine.
    Remarque :
    • Il est recommandé d'utiliser Moteur distant Gen2 plutôt que Moteur Cloud pour le design pour un traitement avancé des données.
    • Si aucun Moteur distant Gen2 n'a été créé depuis Talend Management Console ou s'il existe mais semble indisponible, ce qui signifie qu'il n'est pas en cours de fonctionnement, vous ne pourrez pas sélectionner de type de connexion (Connection type) dans la liste ou sauvegarder la nouvelle connexion.
    • Les types de connexion disponibles dépendent du moteur sélectionné.
  4. Sélectionnez le type de connexion à créer.
    Ici, sélectionnez CosmosDB.
  5. Renseignez les propriétés de la connexion permettant d'accéder à votre base de données Azure Cosmos DB comme décrit dans Propriétés Azure Cosmos DB, vérifiez la connexion et cliquez sur Add dataset (Ajouter un jeu de données).
  6. Dans le panneau Add a new dataset, nommez votre jeu de données. Dans cet exemple, la collection Cosmos DB sera utilisée pour contenir les données tratiées concernant les prospects.

    Exemple

    leads (prospects)
  7. Renseignez les propriétés requises correspondant à la collection Cosmos DB située dans votre compte Azure.
  8. Cliquez sur Validate (Valider) pour sauvegarder votre jeu de données.
  9. Répétez l'opération pour ajouter une connexion Test et le jeu de données à utiliser comme source dans votre pipeline, pour alimenter le CRM.
    Dans cet exemple, un jeu de données nommé bank marketing data avec le schéma CSV suivant est utilisé :
    CSV Schema:
    age;job;marital;education;default;balance;housing;loan;contact;day;month;duration;campaign;pdays;previous;poutcome;y
  10. Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
  11. Donnez-lui un nom significatif.

    Exemple

    Inserting bank marketing data into a CosmosDB table (Insérer des données marketing bancaires dans une table Cosmos DB)
  12. Cliquez sur ADD SOURCE (AJOUTER UNE SOURCE) et sélectionnez votre jeu de données source, bank marketing data dans le panneau qui s'ouvre.
  13. Cliquez sur pour ajouter des processeurs au pipeline, par exemple un processeur Type converter pour convertir les données des comptes de type String à type Double.
  14. Cliquez sur pour ajouter un processeur Filter pour filtrer les prospects ayant 30 ans ou plus, ayant un poste de manager et plus de 2 000 dollars sur leurs comptes.
  15. Cliquez sur l'élément ADD DESTINATION (AJOUTER UNE DESTINATION) dans le pipeline pour ouvrir le panneau vous permettant de sélectionner le jeu de données Cosmos DB dans lequel vos données de sortie seront insérées.
  16. Dans l'onglet Configuration de la destination, cliquez sur Main :
    1. Activez les options Create collection if not exists (Créer la collection si elle n'existe pas) et Auto ID generation (Génération automatique d'ID) afin de créer une collection de base de données et un ID lors de l'exécution du pipeline dans lequel les données seront insérées.
    2. Cliquez sur Main et sélectionnez Insert dans la liste Data action (Action sur les données) pour insérer les données dans un jeu de données existant lors de l'exécution du pipeline.
  17. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.
  18. Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, cliquez sur le bouton Run (Exécuter) pour ouvrir le panneau vous permettant de sélectionner votre profil d'exécution.
  19. Sélectionnez dans la liste votre profil d'exécution (pour plus d'informations, consultez Profils d'exécution), puis cliquez sur Run (Exécuter) pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d'exécution, les données ont été traitées et filtrées et le flux de sortie est inséré dans la table Cosmos DB définie.

Vous pouvez consulter le log de votre pipeline pour voir les détails du volume de données envoyées à Azure Cosmos DB.