tS3Put

Composants Talend Open Studio Guide de référence

EnrichVersion
6.3
EnrichProdName
Talend Open Studio for Data Quality
Talend Open Studio for Big Data
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Open Studio for Data Integration
task
Gouvernance de données
Qualité et préparation de données
Création et développement
EnrichPlatform
Studio Talend

Fonction

Met un fichier dans Amazon S3.

Objectif

Le composant tS3Put est conçu pour mettre un fichier dans Amazon S3 afin d'y stocker les données.

Propriétés du tS3Put

Famille du composant

Cloud/Amazon/S3

 

Basic settings

Use existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat à partir de la liste Component List pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

 

Access Key

L'ID de la clé d'accès (Access Key) identifie uniquement un compte AWS. Pour plus d'informations concernant la clé d'accès et sa sécurité, consultez le site Getting Your AWS Access Keys (en anglais).

 

Secret Key

La Secret Access Key, combinée à la clé d'accès, constitue votre accès sécurisé à Amazon S3.

Pour saisir la clé secrète, cliquez sur le bouton [...] à côté du champ Secret key, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles puis cliquez sur OK afin de sauvegarder les paramètres.

 

Inherit credentials from AWS role

Cochez cette case pour obtenir les informations d'authentification de sécurité AWS depuis la métadonnée de l'instance Amazon EC2. Pour utiliser cette option, l'instance Amazon EC2 doit être démarrée et votre Job doit être en cours d'exécution sur Amazon EC2. Pour plus d'informations, consultez Using an IAM Role to Grant Permissions to Applications Running on Amazon EC2 Instances (en anglais).

 

Assume role

Cochez cette case et spécifiez les valeurs des paramètres utilisés pour créer une nouvelle session du rôle.

  • Role ARN : nom Amazon Resource Name (ARN) du rôle.

  • Role session name : identifiant de la session du rôle.

  • Session duration (minutes) : durée (en minutes) pour laquelle est active la session du rôle.

Pour plus d'informations concernant les rôles et AssumeRole, consultez AssumeRole (en anglais).

 

Region

Spécifiez la zone géographique AWS en sélectionnant le nom d'une zone géographique dans la liste ou en saisissant le nom de la zone entre guillemets doubles ("us-east-1" par exemple) dans la liste. Pour plus d'informations sur les zones géographiques AWS, consultez Regions and Endpoints (en anglais).

 

Encrypt

Cochez cette case et dans la liste déroulante Key type affichée, sélectionnez l'une des trois options suivantes pour chiffrer les données côté client avant de les envoyer à Amazon S3. Pour plus d'informations, consultez Protecting Data Using Client-Side Encryption (en anglais).

  • KMS-managed customer master key : utilisez une clé maître client (CMK) gérée par KMS pour le chiffrement des données côté client. Dans le champ Key, spécifiez l'identifiant de la clé maître client AWS gérée par KMS (CMK ID).

  • Symmetric Master Key : utilisez une clé maître symétrique (clé secrète AES 256 bits) pour le chiffrement des données côté client.

    • Algorithm : sélectionnez l'algorithme associé à la clé dans la liste. Par défaut, il n'y a qu'un seul algorithme nommé AES.

    • Encoding : sélectionnez le type de chiffrement associé à la clé dans la liste, Base64 ou X509.

    • Key ou Key file : spécifiez la clé ou le chemin du fichier contenant la clé.

  • Asymmetric Master Key : utilisez une clé maître asymétrique (une paire de clés RSA 1024 bits) pour le chiffrement des données côté client.

    • Algorithm : sélectionnez l'algorithme associé à la clé dans la liste. Par défaut, il n'y a qu'un seul algorithme nommé RSA.

    • Public key file : spécifiez le chemin du fichier contenant la clé publique.

    • Private key file : spécifiez le chemin du fichier contenant la clé privée.

 

Bucket

Nom du bucket, le dossier de plus haut niveau, du serveur S3.

 

Key

Nom du fichier à sauvegarder sur le serveur S3.

 

File

Nom du fichier local à charger sur le serveur S3.

 

Server-Side Encryption

Cochez cette case pour activer le chiffrement côté serveur afin de protéger vos données envoyées à Amazon S3 à l'aide des clés de chiffrement Amazon S3-Managed Encryption Keys (SSE-S3).

Pour plus d'informations concernant le chiffrement côté serveur avec SSE-S3, consultez http://docs.aws.amazon.com/AmazonS3/latest/dev/UsingServerSideEncryption.html (en anglais).

 

Die on error

Cette case est décochée par défaut et permet de terminer le traitement avec les lignes sans erreur, ainsi que d'ignorer les lignes en erreur.

Advanced settings

Config client

Cochez cette case pour configurer des paramètres client.

Client parameter : sélectionnez les paramètres client dans la liste.

Value : saisissez la valeur des paramètres.

Cette option n'est pas disponible lorsque la case Use existing connection est cochée.

STS Endpoint

Cochez cette case et, dans le champ qui s'affiche, spécifiez l'endpoint du service AWS Security Token Service duquel les informations d'authentification sont récupérées.

Cette case est disponible uniquement lorsque la case Assume role est cochée.

Part size (Mb)

Spécifiez la taille de la partition en Mo lors du chargement d'un fichier volumineux partitionné. Pour plus d'informations concernant le chargement partitionné de S3, consultez Présentation du téléchargement partitionné.

 

tStatCatcher Statistics

Cochez cette case pour collecter les données de log au niveau des composants.

Dynamic settings

Cliquez sur le bouton [+] pour ajouter une ligne à la table. Dans le champ Code, saisissez une variable de contexte afin de sélectionner dynamiquement votre connexion à la base de données parmi celles prévues dans votre Job. Cette fonctionnalité est utile si vous devez accéder à plusieurs tables de bases de données ayant la même structure mais se trouvant dans différentes bases de données, en particulier lorsque vous travaillez dans un environnement dans lequel vous ne pouvez pas changer les paramètres de votre Job, par exemple lorsque votre Job doit être déployé et exécuté dans un Studio Talend indépendant.

Lorsqu'un paramètre dynamique est configuré, la liste Component List devient inaccessible dans la vue Basic settings.

Pour des exemples sur l'usage des paramètres dynamiques, consultez Scénario 3 : Lire des données dans des bases de données MySQL à l'aide de connexions dynamiques basées sur les variables de contexte et Scénario : Lire des données à partir de différentes bases de données MySQL à l'aide de paramètres de connexion chargés dynamiquement. Pour plus d'informations concernant les Dynamic settings et les variables de contexte, consultez le Guide utilisateur du Studio Talend.

Utilisation

Ce composant peut être utilisé en standalone ou avec d'autres composants S3, par exemple le tS3Connection.

Global Variables

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Limitation

Du fait d'une incompatibilité de licence, un ou plusieurs Jar requis pour utiliser ce composant ne sont pas fournis. Vous pouvez installer les Jar manquants pour ce composant en cliquant sur le bouton Install dans l'onglet Component. Vous pouvez également trouver les Jar manquants et les ajouter dans l'onglet Modules de la perspective Integration de votre studio. Pour plus d'informations, consultez l'article Installation de modules externes sur Talend Help Center (https://help.talend.com) ou la section décrivant comment configurer le studio, dans le Guide d'installation et de migration Talend.

Scénario : Échange de fichiers avec Amazon S3

Dans ce scénario, le composant tS3Put est utilisé pour envoyer un fichier sur le serveur Amazon S3 pendant que le tS3Get récupère ce fichier.

Construire le Job

  1. Déposez un tS3Connection, un tS3Put et un tS3Get de la Palette dans l'espace de modélisation graphique.

  2. Reliez le tS3Connection au tS3Put à l'aide d'un lien OnSubjobOk.

  3. Reliez le tS3Put au tS3Get à l'aide d'un lien OnSubjobOk.

Configurer les composants

  1. Double-cliquez sur le tS3Connection pour ouvrir sa vue Basic settings.

  2. Dans les champs Access Key et Secret Key, saisissez les informations d'authentification.

  3. Double-cliquez sur le tS3Put pour ouvrir sa vue Basic settings.

  4. Cochez la case Use existing connection pour réutiliser la connexion.

  5. Dans le champ Bucket, saisissez le nom du bucket.

  6. Dans le champ Key, saisissez le nom du fichier à sauvegarder sur le serveur S3.

  7. Dans le champ File, saisissez le nom du fichier à charger dans le serveur S3.

  8. Double-cliquez sur le composant tS3Get pour ouvrir sa vue Basic settings.

  9. Cochez la case Use existing connection pour réutiliser la connexion.

  10. Dans le champ Bucket, saisissez le nom du bucket.

  11. Dans le champ Key, saisissez le nom du fichier à récupérer du serveur S3.

  12. Dans le champ File, saisissez le nom local du fichier récupéré.

Exécuter le Job

  1. Appuyez sur les touches Ctrl + S pour sauvegarder le Job.

  2. Appuyez sur F6 pour exécuter le Job.

  3. Consultez la console Web S3 :

    Comme affiché ci-dessus, le fichier a bien été mis sur le serveur S3.

  4. Rafraîchissez le client S3 Browser :