Ce scénario a pour objectif de vous aider à configurer et à utiliser des connecteurs dans un pipeline. Ce scénario doit être adapté en fonction de votre environnement et de votre cas d'utilisation.
Procédure
-
Cliquez sur .
-
Parcourez votre système jusqu'au fichier local_file-to-azure_event_hubs.csv et sélectionnez-le.
-
Renommez-le par exemple Baltimore restaurants.
-
Cliquez sur .
-
Dans le panneau qui s'ouvre, sélectionnez le type de connexion à créer.
Exemple
Azure EventHubs
-
Sélectionnez votre moteur dans la liste Engine.
Remarque :
- Il est recommandé d'utiliser Moteur distant Gen2 plutôt que Moteur Cloud pour le design pour un traitement avancé des données.
- Si aucun Moteur distant Gen2 n'a été créé depuis Talend Management Console ou s'il existe mais semble indisponible, ce qui signifie qu'il n'est pas en cours de fonctionnement, vous ne pourrez pas sélectionner de type de connexion (Connection type) dans la liste ou sauvegarder la nouvelle connexion.
- Les types de connexion disponibles dépendent du moteur sélectionné.
-
Sélectionnez le type de connexion à créer.
Ici, sélectionnez Azure Event Hubs.
-
Renseignez les propriétés de la connexion pour accéder de manière sécurisée à vos ressources de service Azure (endpoint, clés de signature d'accès partagé), comme décrit dans Propriétés Azure Event Hubs, vérifiez la connexion et cliquez sur Add dataset (Ajouter un jeu de données).
-
Dans le panneau Add a new dataset, nommez votre jeu de données. Dans cet exemple, le hub Event Hub baltimore-restaurants actuellement vide sera utilisé pour publier les données relatives aux restaurants de Baltimore.
Exemple
-
Nommez votre jeu de données, Restaurant Event Hub par exemple.
-
Cliquez sur Validate (Valider) pour sauvegarder votre jeu de données.
-
Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
-
Donnez-lui un nom significatif.
Exemple
From local file to Azure Event Hubs - publish an event
-
Cliquez sur ADD SOURCE et sélectionnez votre jeu de données source, Baltimore restaurants dans le panneau qui s'ouvre.
-
Cliquez sur
et ajoutez un processeur Strings au pipeline, afin de modifier la casse de certains enregistrements. Le panneau de configuration s'ouvre.
-
Donnez un nom significatif au processeur.
Exemple
change case of police district records
-
Configurez le processeur :
-
Sélectionnez Change to title case dans la liste Function name puisque vous souhaitez changer la casse des enregistrements pour la passer de majuscules à casse de titre.
-
Sélectionnez .police_disctrict dans la liste Fields to process, car vous souhaitez appliquer ce changement aux valeurs de ces enregistrements spécifiques.
-
Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.
-
(Facultatif) Consultez l'aperçu du processeur pour voir les données après le changement de casse.
-
Cliquez sur l'élément ADD DESTINATION dans le pipeline pour ouvrir le panneau vous permettant de sélectionner le hub Azure Event Hubs dans lequel vos données de sortie seront chargées, Restaurant Event Hub.
-
Dans l'onglet Configuration de la destination, le modèle Round-Robin est le type de partition (Partition Type) utilisé par défaut lors de la publication d'un événement, mais vous pouvez spécifier une clé de partition ou un ID de partition répondant à votre usage.
-
Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, cliquez sur le bouton Run (Exécuter) pour ouvrir le panneau vous permettant de sélectionner votre profil d'exécution.
-
Sélectionnez dans la liste votre profil d'exécution (pour plus d'informations, consultez Profils d'exécution), puis cliquez sur Run (Exécuter) pour exécuter votre pipeline.
Résultats
Votre pipeline est en cours d'exécution, les données des restaurants de Baltimore provenant de votre fichier local sont en cours de traitement et le flux de sortie est envoyé au hub Azure Event Hubs baltimore-restaurants défini :
Que faire ensuite
Une fois l'événement publié, vous pouvez consommer les messages dans un autre pipeline et les utiliser comme source dans Azure Event Hub :
