Publier un message dans une instance d'Azure Event Hubs - Cloud

Guide des connecteurs des applications Talend Cloud

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
Administration et monitoring > Gestion des connexions
Création et développement > Création de Pipelines
EnrichPlatform
Talend Pipeline Designer

Ce scénario a pour objectif de vous aider à configurer et à utiliser des connecteurs dans un pipeline. Ce scénario doit être adapté en fonction de votre environnement et de votre cas d'utilisation.

Avant de commencer

  • Si vous souhaitez reproduire ce scénario, téléchargez le fichier local_file-to-azure_event_hubs.csv depuis l'onglet Téléchargements à gauche de la page.

Procédure

  1. Cliquez sur Datasets > Drop a file or browse.
  2. Parcourez votre système jusqu'au fichier local_file-to-azure_event_hubs.csv et sélectionnez-le.
  3. Nommez-le par exemple Baltimore restaurants, cliquez sur AUTO DETECT afin de détecter automatiquement le format, puis cliquez sur VALIDATE.
  4. Cliquez sur Connections > ADD CONNECTION.
  5. Dans le panneau qui s'ouvre, donnez un nom à votre connexion, ainsi qu'une description, si nécessaire.

    Exemple

    Azure EventHubs
  6. Sélectionnez votre moteur dans la liste Engine.
    Remarque : Si aucun Remote Engine Gen2 n'a été créé depuis Talend Cloud Management Console ou s'il existe mais semble indisponible, ce qui signifie qu'il n'est pas en cours de fonctionnement, vous ne pourrez pas sélectionner de type de connexion (Connection type) dans la liste ou sauvegarder la nouvelle connexion. Les types de connexion disponibles dépendent du moteur sélectionné.
  7. Sélectionnez le type de connexion à créer.
    Sélectionnez Azure EventHubs.
  8. Renseignez les propriétés de la connexion pour accéder en toute sécurité à vos ressources de service Azure (endpoint, clés de signature d'accès partagé) comme décrit dans Propriétés Azure EventHubs, vérifiez la connexion et cliquez sur ADD DATASET.

    Exemple

  9. Dans le panneau Add a new dataset, nommez votre jeu de données. Dans cet exemple, le hub Event Hub baltimore-restaurants actuellement vide sera utilisé pour publier les données relatives aux restaurants de Baltimore.
  10. Nommez votre jeu de données, Restaurant Event Hub par exemple.
  11. Cliquez sur VALIDATE pour sauvegarder votre jeu de données.
  12. Cliquez sur ADD PIPELINE dans la page Pipelines. Votre nouveau pipeline s’ouvre.
  13. Donnez-lui un nom significatif.

    Exemple

    From local file to Azure Event Hubs - publish an event
  14. Cliquez sur ADD SOURCE et sélectionnez votre jeu de données source, Baltimore restaurants dans le panneau qui s'ouvre.
  15. Cliquez sur et ajoutez un processeur Strings au pipeline, afin de modifier la casse de certains enregistrements. Le panneau de configuration s'ouvre.
  16. Donnez un nom significatif au processeur.

    Exemple

    change case of police disctrict records
  17. Configurez le processeur :
    1. Sélectionnez Change to title case dans la liste Function name puisque vous souhaitez changer la casse des enregistrements pour la passer de majuscules à casse de titre.
    2. Sélectionnez .police_disctrict dans la liste Fields to process, car vous souhaitez appliquer ce changement aux valeurs de ces enregistrements spécifiques.
  18. Cliquez sur SAVE pour sauvegarder votre configuration.
  19. (Facultatif) Consultez l'aperçu du processeur pour voir les données après le changement de casse.
  20. Cliquez sur l'élément ADD DESTINATION dans le pipeline pour ouvrir le panneau vous permettant de sélectionner le hub Azure Event Hubs dans lequel vos données de sortie seront chargées, Restaurant Event Hub.
  21. Dans l'onglet Configuration de la destination, le modèle Round-Robin est le type de partition (Partition Type) utilisé par défaut lors de la publication d'un événement, mais vous pouvez spécifier une clé de partition ou un ID de partition répondant à votre usage.
  22. Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, sélectionnez votre profil d'exécution dans la liste (pour plus d'informations, consultez Run profiles).
  23. Cliquez sur l'icône d'exécution pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d'exécution, les données des restaurants de Baltimore provenant de votre fichier local sont en cours de traitement et le flux de sortie est envoyé au hub Azure Event Hubs baltimore-restaurants défini :

Que faire ensuite

Une fois l'événement publié, vous pouvez consommer les messages dans un autre pipeline et les utiliser comme source dans Azure Event Hub :