Utiliser des variables de contexte pour utiliser différentes chaînes de caractères de connexion lors de l'exécution

Dans ce scénario, des variables de contexte sont ajoutées pour écraser les identifiants de connexion et passer d'une base de données de pré-production à une base de données de production lors de l'exécution.

Un pipeline affiche un jeu de données MySQL avec une variable de contexte comme source du pipeline, un processeur Type converter et un processeur Aggregate ainsi qu'un jeu de données Test comme destination du pipeline.

Avant de commencer

Vous avez précédemment créé une connexion au système stockant vos données source, ici une connexion MySQL.
Vous avez précédemment ajouté le jeu de données contenant vos données source.

Ici, une table contenant des données de contact comprenant des identifiants clients, noms, adresses, pays, limites de crédit, etc.
Vous avez également créé la connexion de destination, ici un jeu de données de test pour stocker les logs de sortie.

Procédure

Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
Donnez-lui un nom significatif.
Exemple
Switch from a MySQL Pre-Prod to PROD table with context variables
Cliquez sur ADD SOURCE pour ouvrir le panneau vous permettant de sélectionner vos données source, ici MySQL contact table. Un échantillon de vos données est affiché dans le panneau de prévisualisation.
Cliquez sur le bouton et ajoutez un processeur Type converter au pipeline. Le panneau de Configuration s’affiche.
Donnez un nom significatif au processeur, convert credit type par exemple.
Dans la zone Converters :
1. Sélectionnez .creditlimit dans la zone Field path, car vous souhaitez convertir les enregistrements correspondants aux limites de crédit de l'utilisateur ou utilisatrice.
2. Sélectionnez Double dans la liste Output type car vous souhaitez convertir les valeurs de limites de crédit d'une chaîne de carctères (String) en un type Double, ce qui vous permet d'effectuer des calculs sur ces valeurs.
Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.

Vous pouvez voir que les enregistrements concernant les limites de crédit sont convertis en type Double.
Cliquez sur le bouton et ajoutez un processeur Aggregate au pipeline. Le panneau de Configuration s’affiche.
Donnez un nom significatif au processeur, calculate average credit limit par exemple.
Dans la zone Operations :
1. Sélectionnez .creditlimit dans la zone Field path, car vous souhaitez effectuer une opération de calcul sur les enregistrements correspondants aux limites de crédit de l'utilisateur ou utilisatrice.
2. Sélectionnez Average dans la liste Operation car vous souhaitez calculer la limite de crédit moyenne pour cette liste de client·es.
Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.

Vous pouvez voir que les enregistrements concernant les limites de crédit sont convertis en type Double.
Cliquez sur l'élément ADD DESTINATION dans le pipeline pour ouvrir le panneau vous permettant de sélectionner le jeu de données qui contiendra vos logs de sortie.
(Facultatif) Si vous exécutez votre pipeline à cette étape, vous pouvez voir dans les logs :
- que le pipeline a bien été exécuté et que 52 enregistrements ont été lus,
- qu'aucune variable de contexte n'a été configurée dans ce pipeline.
Retournez dans l'onglet Connection de la source MySQL contact table pour ajouter et attribuer une variable :
1. Cliquez sur l'icône près du paramètre JDBC URL (URL JDBC) pour ouvrir la fenêtre Add a variable (Ajouter une variable).
2. Nommez votre variable PROD connection string data par exemple.
3. Saisissez la valeur de variable écrasant la ressource par défaut à récupérer, jdbc:mysql://myprodconnectionstring.us-east-1.rds.amazonaws.com:3306/mytable par exemple.
4. Saisissez une description si nécessaire et cliquez sur Add (Ajouter).
5. Une fois votre variable créée, vous êtes redirigé·e vers la fenêtre Assign a variable listant toutes les variables de contexte. Sélectionnez vos variables et cliquez sur Assign (Attribuer).
  Votre variable et sa valeur sont attribuées au paramètre JDBC URL du jeu de données MySQL, ce qui signifie que l'URL JDBC pointant vers la table de production MySQL écrasera l'URL JDBC précédemment définie. Au lieu de récupérer des données de la table de pré-production, les données de la table de production sont récupérées.
6. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.
  
  Une fois la variable attribuée, l'icône s'affiche pour indiquer qu'une variable a été configurée dans le pipeline.
Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, cliquez sur le bouton Run (Exécuter) pour ouvrir le panneau vous permettant de sélectionner votre profil d'exécution.
Sélectionnez dans la liste votre profil d'exécution (pour plus d'informations, consultez Profils d'exécution), puis cliquez sur Run (Exécuter) pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d'exécution, les données sont agrégées et correspondent à la variable de contexte attribuée aux chaînes de caractères source et de destination.

Dans les logs d'exécution du pipeline, vous pouvez voir que de nombreux enregistrements ont été lus (1153).
Vous pouvez également voir la valeur de la variable de contexte utilisée pour récupérer les données de la table de production lors de l'exécution.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !

Laissez vos commentaires ici