Traiter une table Azure Synapse et la charger dans Azure Blob Storage - Cloud

Guide des connecteurs des applications Talend Cloud

Version
Cloud
Language
Français
Product
Talend Cloud
Module
Talend Data Inventory
Talend Data Preparation
Talend Pipeline Designer
Content
Administration et monitoring > Gestion des connexions
Création et développement > Création de Pipelines
Last publication date
2024-03-21

Ce scénario a pour objectif de vous aider à configurer et à utiliser des connecteurs dans un pipeline. Ce scénario doit être adapté en fonction de votre environnement et de votre cas d'utilisation.

Procédure

  1. Cliquez sur Connections (Connexions) > Add connection (Ajouter une connexion).
  2. Dans le panneau qui s'ouvre, sélectionnez le type de connexion à créer.

    Exemple

    Synapse
  3. Sélectionnez votre moteur dans la liste Engine.
    Remarque :
    • Il est recommandé d'utiliser Moteur distant Gen2 plutôt que Moteur Cloud pour le design pour un traitement avancé des données.
    • Si aucun Moteur distant Gen2 n'a été créé depuis Talend Management Console ou s'il existe mais semble indisponible, ce qui signifie qu'il n'est pas en cours de fonctionnement, vous ne pourrez pas sélectionner de type de connexion (Connection type) dans la liste ou sauvegarder la nouvelle connexion.
    • Les types de connexion disponibles dépendent du moteur sélectionné.
  4. Sélectionnez le type de connexion à créer.
    Ici, sélectionnez Database (Base de données).
  5. Renseignez les propriétés de la connexion pour accéder à votre base de données Azure Synapse comme décrit dans Propriétés Azure Synapse, vérifiez la connexion et cliquez sur Add dataset (Ajouter un jeu de données).
  6. Dans le panneau Add a new dataset, nommez votre jeu de données. Dans cet exemple, la table contient des données sur l'emplacement de taxis.

    Exemple

    Azure Synapse geography table
  7. Renseignez les propriétés requises pour accéder à la table située dans votre base de données et cliquez sur View sample (Voir l'échantillon) pour voir un aperçu de l'échantillon de données.
  8. Cliquez sur Validate (Valider) pour sauvegarder votre jeu de données.
  9. Répétez l'opération pour ajouter le conteneur Azure Blob à utiliser comme destination dans votre pipeline. Renseignez les propriétés de la connexion comme décrit dans Propriétés Azure Blob Storage.
    Dans cet exemple, un fichier CSV contenant des données relatives à l'emplacement de taxis situé dans le dossier talend dir d'un conteneur Azure Blob nommé talend-blob sera utilisé comme destination de pipeline. Vous pouvez voir les répertoires de votre conteneur depuis la page Storage Explorer de votre compte de stockage Azure.
  10. Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
  11. Donnez-lui un nom significatif.

    Exemple

    From Azure Synapse table to Azure Blob - load table
  12. Cliquez sur ADD SOURCE et sélectionnez votre jeu de données source, Azure Synapse geography table dans le panneau qui s'ouvre.
  13. Cliquez sur pour ajouter des processeurs au pipeline, par exemple un Field selector pour sélectionner des champs spécifiques et leur donner un nom significatif, ou un Aggregate pour lister et regrouper les enregistrements.
  14. Cliquez sur l'élément ADD DESTINATION dans le pipeline pour ouvrir le panneau vous permettant de sélectionner le fichier Azure Blob dans lequel vos données de sortie seront chargées.
  15. Donnez un nom significatif à la Destination, load in Azure Blob Storage par exemple.
  16. Dans l'onglet Configuration de la destination, cliquez sur Advanced et saisissez un préfixe pour le nom du Blob à créer lors de l'exécution du pipeline.
  17. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.
  18. (Facultatif) Cliquez sur le dernier processeur, afin de prévisualiser les données traitées.
  19. Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, cliquez sur le bouton Run (Exécuter) pour ouvrir le panneau vous permettant de sélectionner votre profil d'exécution.
  20. Sélectionnez dans la liste votre profil d'exécution (pour plus d'informations, consultez Profils d'exécution), puis cliquez sur Run (Exécuter) pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d'exécution, les informations sur l'emplacement des taxis qui ont été stockées sur Azure Synapse ont été agrégées en fonction des villes et le flux de sortie est envoyé vers le fichier cible Azure Blob que vous avez défini.