Utiliser des variables de contexte pour utiliser différentes chaînes de caractères de connexion lors de l'exécution - Cloud

Guide d'utilisation de Talend Cloud Pipeline Designer

Version
Cloud
Language
Français
Product
Talend Cloud
Module
Talend Pipeline Designer
Content
Administration et monitoring > Monitoring de logs
Administration et monitoring > Monitoring des exécutions
Création et développement > Création de Pipelines
Déploiement > Déploiement > Exécution de Pipelines
Gouvernance de données > Filtrage de données
Qualité et préparation de données > Filtrage de données
Qualité et préparation de données > Gestion des jeux de données
Last publication date
2024-02-12

Dans ce scénario, des variables de contexte sont ajoutées pour écraser les identifiants de connexion et passer d'une base de données de pré-production à une base de données de production lors de l'exécution.

Un pipeline affiche un jeu de données MySQL avec une variable de contexte comme source du pipeline, un processeur Type converter et un processeur Aggregate ainsi qu'un jeu de données Test comme destination du pipeline.

Avant de commencer

  • Vous avez précédemment créé une connexion au système stockant vos données source, ici une connexion MySQL.

  • Vous avez précédemment ajouté le jeu de données contenant vos données source.

    Ici, une table contenant des données de contact comprenant des identifiants clients, noms, adresses, pays, limites de crédit, etc.

  • Vous avez également créé la connexion de destination, ici un jeu de données de test pour stocker les logs de sortie.

Procédure

  1. Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
  2. Donnez-lui un nom significatif.

    Exemple

    Switch from a MySQL Pre-Prod to PROD table with context variables
  3. Cliquez sur ADD SOURCE pour ouvrir le panneau vous permettant de sélectionner vos données source, ici MySQL contact table. Un échantillon de vos données est affiché dans le panneau de prévisualisation.
    Le panneau d'aperçu présente un échantillon de la table customer MySQL utilisée comme source du pipeline.
  4. Cliquez sur le bouton + et ajoutez un processeur Type converter au pipeline. Le panneau de Configuration s’affiche.
  5. Donnez un nom significatif au processeur, convert credit type par exemple.
  6. Dans la zone Converters :
    1. Sélectionnez .creditlimit dans la zone Field path, car vous souhaitez convertir les enregistrements correspondants aux limites de crédit de l'utilisateur ou utilisatrice.
    2. Sélectionnez Double dans la liste Output type car vous souhaitez convertir les valeurs de limites de crédit d'une chaîne de carctères (String) en un type Double, ce qui vous permet d'effectuer des calculs sur ces valeurs.
  7. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.

    Vous pouvez voir que les enregistrements concernant les limites de crédit sont convertis en type Double.

  8. Cliquez sur le bouton + et ajoutez un processeur Aggregate au pipeline. Le panneau de Configuration s’affiche.
  9. Donnez un nom significatif au processeur, calculate average credit limit par exemple.
  10. Dans la zone Operations :
    1. Sélectionnez .creditlimit dans la zone Field path, car vous souhaitez effectuer une opération de calcul sur les enregistrements correspondants aux limites de crédit de l'utilisateur ou utilisatrice.
    2. Sélectionnez Average dans la liste Operation car vous souhaitez calculer la limite de crédit moyenne pour cette liste de client·es.
  11. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.

    Vous pouvez voir que les enregistrements concernant les limites de crédit sont convertis en type Double.

    Le panneau d'aperçu du processeur Aggregate affiche l'enregistrement de sortie, le nombre 52904, de type Double.
  12. Cliquez sur l'élément ADD DESTINATION dans le pipeline pour ouvrir le panneau vous permettant de sélectionner le jeu de données qui contiendra vos logs de sortie.
  13. (Facultatif) Si vous exécutez votre pipeline à cette étape, vous pouvez voir dans les logs :
    • que le pipeline a bien été exécuté et que 52 enregistrements ont été lus,
      Le panneau des logs indique que 52 enregistrements ont été lus.
    • qu'aucune variable de contexte n'a été configurée dans ce pipeline.
      Le panneau des logs indique que l'URL originale de MySQL a été utilisée. Il n'y a donc aucune variable de contexte utilisée au moment de l'exécution.
  14. Retournez dans l'onglet Connection de la source MySQL contact table pour ajouter et attribuer une variable :
    1. Cliquez sur l'icône Context variable (Variable de contexte) près du paramètre JDBC URL (URL JDBC) pour ouvrir la fenêtre Add a variable (Ajouter une variable).
    2. Nommez votre variable PROD connection string data par exemple.
    3. Saisissez la valeur de variable écrasant la ressource par défaut à récupérer, jdbc:mysql://myprodconnectionstring.us-east-1.rds.amazonaws.com:3306/mytable par exemple.
    4. Saisissez une description si nécessaire et cliquez sur Add (Ajouter).
    5. Une fois votre variable créée, vous êtes redirigé·e vers la fenêtre Assign a variable listant toutes les variables de contexte. Sélectionnez vos variables et cliquez sur Assign (Attribuer).
      Votre variable et sa valeur sont attribuées au paramètre JDBC URL du jeu de données MySQL, ce qui signifie que l'URL JDBC pointant vers la table de production MySQL écrasera l'URL JDBC précédemment définie. Au lieu de récupérer des données de la table de pré-production, les données de la table de production sont récupérées.
    6. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.

      Une fois la variable attribuée, l'icône Context variable (Variable de contexte) s'affiche pour indiquer qu'une variable a été configurée dans le pipeline.

      Dans la fenêtre 'Assign a variable (Attribuer une variable)', la nouvelle variable est sélectionnée et le bouton 'Assign (Attribuer)' est activé.
  15. Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, cliquez sur le bouton Run (Exécuter) pour ouvrir le panneau vous permettant de sélectionner votre profil d'exécution.
  16. Sélectionnez dans la liste votre profil d'exécution (pour plus d'informations, consultez Profils d'exécution), puis cliquez sur Run (Exécuter) pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d'exécution, les données sont agrégées et correspondent à la variable de contexte attribuée aux chaînes de caractères source et de destination.
  • Dans les logs d'exécution du pipeline, vous pouvez voir que de nombreux enregistrements ont été lus (1153).
    Le panneau des logs indique que 1153 enregistrements ont été lus.
  • Vous pouvez également voir la valeur de la variable de contexte utilisée pour récupérer les données de la table de production lors de l'exécution.
    Le panneau des logs indique que l'URL de MySQL, configurée dans la variable de contexte a été appliquée au moment de l'exécution.