Scénario : Lister les fichiers d'un bucket ayant le même préfixe - 6.1

Composants Talend Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Dans ce scénario, le tS3List est utilisé pour lister tous les fichiers d'un bucket ayant le même préfixe.

Voici les fichiers du bucket :

Pour plus d'informations concernant la création d'un bucket et comment y mettre des fichiers, consultez Scénario : Vérifier l'absence d'un bucket, le créer et lister tous les buckets S3 et Scénario : Echange de fichiers avec Amazon S3 .

Construire le Job

  1. De la Palette, déposez un composant tS3Connection, un tS3List, un tIterateToFlow, un tLogRow et un tS3Close dans l'espace de modélisation graphique.

  2. Reliez le tS3Connection au tS3List à l'aide d'un lien OnSubjobOk.

  3. Reliez le tS3List au tIterateToFlow à l'aide d'un lien Row > Iterate.

  4. Reliez le tIterateToFlow au tLogRow à l'aide d'un lien Row > Main.

  5. Reliez le tS3List au tS3Close à l'aide d'un lien OnSubjobOk.

Configurer les composants

  1. Double-cliquez sur le tS3Connection pour ouvrir sa vue Basic settings.

  2. Dans les champs Access Key et Secret Key, saisissez les informations d'authentification.

  3. Double-cliquez sur le tS3List pour ouvrir sa vue Basic settings.

  4. Cochez la case Use existing connection afin de réutiliser la connexion définie précédemment.

  5. Dans la table Bucket, cliquez sur le bouton [+] pour ajouter une ligne.

  6. Dans les champs Bucket name et Key prefix, saisissez le nom du bucket et le préfixe du fichier.

    Ainsi, seuls les fichiers ayant le préfixe spécifié seront listés.

  7. Double-cliquez sur le tIterateToFlow pour ouvrir sa vue Basic settings.

  8. Cliquez sur Edit schema pour ouvrir l'éditeur du schéma.

    Cliquez sur le bouton [+] pour ajouter une colonne. Nommez-la file_list et définissez son type à String.

    Cliquez sur OK pour valider la configuration et fermer l'éditeur.

  9. Dans la table Mapping, appuyez sur les touches Ctrl+Espace dans la colonne Value afin de sélectionner la variable tS3List_1_CURRENT_KEY.

  10. Double-cliquez sur le tLogRow pour ouvrir sa vue Basic settings.

    Sélectionnez l'option Table (print values in cells of a table) pour un affichage optimal des résultats.

  11. Double-cliquez sur le composant tS3Close afin d'ouvrir sa vue Basic settings.

    Comme un seul composant de connexion est utilisé dans ce Job, vous n'avez pas besoin de le sélectionner dans la liste Component List, il est sélectionné par défaut.

Exécuter le Job

  1. Appuyez sur les touches Ctrl+S afin de sauvegarder votre Job.

  2. Appuyez sur la touche F6 pour exécuter le Job.

    Comme affiché ci-dessus, seuls les fichiers ayant le préfixe "in" sont listés.