Écrire des données dans un stockage de fichiers Cloud (S3)

Avant de commencer

Assurez-vous que votre utilisateur ou groupe d’utilisateurs dispose des autorisations appropriées pour accéder aux ressources d’Amazon S3.
Si vous ne disposez pas de ces autorisations, vous pouvez essayer une des options suivantes.
1. (recommandée) Demandez à l’administrateur qui gère votre compte Amazon de vous donner/de donner à votre utilisateur·rice les autorisations S3 appropriées.
2. Implémentez votre politique d’accès en suivant la documentation Amazon si vous êtes autorisé(e) à le faire.
3. (non recommandée) Joindre la politique AmazonS3FullAccess à votre groupe/votre utilisateur·rice via la console IAM. Cela vous permet de lire les ressources S3 et d’écrire dans ces ressources S3 sans restriction dans un bucket spécifique. Cependant, ceci est une solution rapide qui n’est pas recommandée par Talend.
Note InformationsRemarque : L’erreur par défaut qui s’affiche lorsque vous essayez d’accéder aux ressources S3 sans autorisation suffisante est Bad Gateway.
Téléchargez le fichier : financial_transactions.avro.
Créer un Moteur distant Gen2 et son profil d'exécution depuis Talend Management Console.
Le Moteur Cloud pour le design et son profil d'exécution correspondant sont embarqués par défaut dans Talend Management Console pour permettre aux utilisateurs et utilisatrices de prendre l'application en main rapidement, mais il est recommandé d'installer le Moteur distant Gen2 sécurisé pour le traitement avancé des données.

Procédure

Chargez le fichier financial_transactions.avro dans votre bucket Amazon S3 comme décrit dans la documentation Amazon S3.
Dans la page d'accueil de Talend Cloud Pipeline Designer, cliquez sur Connections (Connexions) > Add connection (Ajouter une connexion).
Dans le panneau qui s’ouvre, donnez un nom à votre connexion, par exemple S3 connection.
Sélectionnez votre Moteur distant Gen2 dans la liste Engine.

Note InformationsImportant : Si le Moteur distant Gen2 n'a pas le statut AVAILABLE signifiant qu'il est en cours de fonctionnement, vous ne pourrez pas sélectionner de type de connexion Connection type dans la liste ou sauvegarder la nouvelle connexion. Les types de connexion disponibles dépendent du moteur sélectionné.
Sélectionnez S3 connection dans la liste Connection type.
Saisissez vos identifiants et vérifiez votre connexion.
Cliquez sur Add dataset (Ajouter un jeu de données) pour pointer vers le fichier que vous avez précédemment chargé dans votre bucket S3.
Dans le panneau Add a new dataset, saisissez les informations de connexion à votre bucket S3 :
1. Donnez un nom d’affichage à votre jeu de données, financial data on S3 par exemple.
2. Dans le champ AWS bucket name (Nom du bucket AWS), sélectionnez ou saisissez le nom de votre bucket S3.
3. Dans le champ Object name (Nom de l'objet), saisissez le chemin d’accès au fichier financial_transactions.avro que vous avez précédemment chargé dans votre bucket S3.
4. Dans la liste Format, cliquez sur Auto detect (Détection automatique) pour détecter automatiquement le format, ou sélectionnez Avro dans la liste.
Cliquez sur View sample (Voir l'échantillon) pour vérifier que vos données sont valides et peuvent être prévisualisées.
Cliquez sur Validate (Valider) pour sauvegarder votre jeu de données.

Résultats

Dans la page Datasets (Jeux de données), le nouveau jeu de données est ajouté à la liste et peut être utilisé pour reproduire le cas d’utilisation précédemment créé.

Avant d'exécuter ce pipeline, choisissez si vous souhaitez écraser les données existantes sur S3 ou les fusionner, dans l'onglet de configuration du jeu de données de destination :

Configurez les détails d'exécution du pipeline dans l'onglet Configuration.

Une fois que votre pipeline est exécuté, les données mises à jour sont visibles dans le fichier situé sur Amazon S3.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !

Laissez vos commentaires ici