tS3Copy - 6.3

Composants Talend Guide de référence

EnrichVersion
6.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Fonction

Le composant tS3Copy copie un objet Amazon S3 d'un bucket source à un bucket cible.

Objectif

Ce composant est utilisé pour copier un objet Amazon S3.

Propriétés du tS3Copy

Famille du composant

Cloud/Amazon/S3

Basic settings

Use an existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat à partir de la liste Component List pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

 

Access Key

Spécifiez l'ID de la clé d'accès (Access Key) identifie uniquement un compte AWS. Pour plus d'informations concernant la clé d'accès et sa sécurité, consultez le site Getting Your AWS Access Keys (en anglais).

 

Secret Key

Spécifiez la Secret Access Key, qui, combinée à la clé d'accès, constitue votre accès sécurisé à Amazon S3.

Pour saisir la clé secrète, cliquez sur le bouton [...] à côté du champ Secret key, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles puis cliquez sur OK afin de sauvegarder les paramètres.

 

Inherit credentials from AWS role

Cochez cette case pour obtenir les informations d'authentification de sécurité AWS depuis la métadonnée de l'instance Amazon EC2. Pour utiliser cette option, l'instance Amazon EC2 doit être démarrée et votre Job doit être en cours d'exécution sur Amazon EC2. Pour plus d'informations, consultez Using an IAM Role to Grant Permissions to Applications Running on Amazon EC2 Instances (en anglais).

 

Assume role

Cochez cette case et spécifiez les valeurs des paramètres utilisés pour créer une nouvelle session du rôle.

  • Role ARN : nom Amazon Resource Name (ARN) du rôle.

  • Role session name : identifiant de la session du rôle.

  • Session duration (minutes) : durée (en minutes) pour laquelle est active la session du rôle.

Pour plus d'informations concernant les rôles et AssumeRole, consultez AssumeRole (en anglais).

 

Region

Spécifiez la zone géographique AWS en sélectionnant le nom d'une zone géographique dans la liste ou en saisissant le nom de la zone entre guillemets doubles ("us-east-1" par exemple) dans la liste. Pour plus d'informations sur les zones géographiques AWS, consultez Regions and Endpoints (en anglais).

Source Configuration

Bucket

Spécifiez le nom du bucket source contenant l'objet à copier.

 

Key

Spécifiez la clé de l'objet à copier.

Destination Configuration

Bucket

Spécifiez le nom du bucket de destination dans lequel l'objet sera copié.

 

Key

Spécifiez la nouvelle clé pour l'objet, après copie dans le bucket de destination.

 

Server-Side Encryption

Cochez cette case pour activer le chiffrement côté serveur afin de protéger vos données envoyées à Amazon S3 à l'aide des clés de chiffrement Amazon S3-Managed Encryption Keys (SSE-S3).

Pour plus d'informations concernant le chiffrement côté serveur avec SSE-S3, consultez http://docs.aws.amazon.com/AmazonS3/latest/dev/UsingServerSideEncryption.html (en anglais).

 

Die on error

Cochez cette case pour arrêter l'exécution du Job lorsqu'une erreur survient.

Décochez la case pour ignorer les lignes en erreur et terminer le traitement des lignes sans erreur.

Advanced settings

Config client

Cochez cette case et spécifiez le(s) paramètre(s) client en cliquant sur le bouton [+] pour ajouter autant de lignes que nécessaire, chaque ligne pour un paramètre client. Configurez la valeur des champs suivants pour chaque paramètre :

  • Client Parameter : cliquez dans la cellule et, dans la liste déroulante qui s"affiche, sélectionnez le paramètre client.

  • Value : saisissez la valeur du paramètre sélectionné.

Cette case est disponible uniquement lorsque la case Use an existing connection est décochée.

STS Endpoint

Cochez cette case et, dans le champ qui s'affiche, spécifiez l'endpoint du service AWS Security Token Service duquel les informations d'authentification sont récupérées.

Cette case est disponible uniquement lorsque la case Assume role est cochée.

 

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant.

Global Variables

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Ce composant peut être utilisé en tant que composant standalone.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Scénario : Copier un objet S3 d'un bucket à un autre

Ce scénario décrit un Job chargeant un nouvel objet dans un bucket S3 vide existant bucket-src, copiant l'objet du bucket bucket-src dans un autre bucket S3 vide bucket-dst puis listant l'objet dans le bucket bucket-dst, afin de voir si l'objet a bien été copié.

Construire le Job

  1. Créez un nouveau Job et ajoutez un composant tS3Connection, un tS3Put, un tS3Copy, un tS3List, un tIterateToFlow et un tLogRow, en saisissant leur nom dans l'espace de modélisation graphique ou en les déposant depuis la Palette.

  2. Reliez le tS3List au tIterateToFlow à l'aide d'un lien Row > Iterate.

  3. Reliez le tIterateToFlow au tLogRow à l'aide d'un lien Row > Main.

  4. Reliez le tS3Connection au tS3Put à l'aide d'un lien Trigger > OnSubjobOk.

  5. Répétez l'opération pour relier le tS3Put au tS3Copy et le tS3Copy au tS3List.

Configurer les composants

Créer une connexion à Amazon S3

  1. Double-cliquez sur le tS3Connection pour ouvrir sa vue Basic settings.

  2. Dans les champs Access Key et Secret Key, saisissez les informations d'authentification requises pour accéder à Amazon S3.

  3. Dans la liste Region, sélectionnez une région AWS dans laquelle l'objet sera chargé et copié. Dans cet exemple, laissez les paramètres par défaut.

Mettre à jour un objet dans un bucket Amazon S3

  1. Double-cliquez sur le tS3Put pour ouvrir sa vue Basic settings.

  2. Cochez la case Use an existing connection pour réutiliser les informations de connexion à Amazon S3 définies dans le composant tS3Connection.

  3. Dans le champ Bucket, saisissez le nom du bucket S3 dans lequel l'objet sera chargé. Dans cet exemple, le nom du bucket est bucket-src, il existe déjà dans Amazon S3.

  4. Dans le champ Key, saisissez la clé de l'objet à charger. Dans cet exemple, la clé est tS3Copy_icon32_src.png.

  5. Dans le champ File, parcourez votre système ou saisissez le chemin à l'objet à charger. Dans cet exemple, saisissez D:/tS3Copy_icon32.png.

Copier l'objet chargé dans un autre bucket Amazon S3

  1. Double-cliquez sur le composant tS3Copy pour ouvrir sa vue Basic settings.

  2. Cochez la case Use an existing connection pour réutiliser les informations de connexion à Amazon S3 définies dans le composant tS3Connection.

  3. Dans le champ Bucket, dans la zone Source Configuration, saisissez le nom du bucket contenant l'objet à copier. Dans cet exemple, saisissez bucket-src.

  4. Dans le champ Key, dans la zone Source Configuration, saisissez la clé de l'objet à copier. Dans cet exemple, saisissez tS3Copy_icon32_src.png.

  5. Dans le champ Bucket, dans la zone Destination Configuration, saisissez le nom du bucket dans lequel l'objet sera copié. Dans cet exemple, le bucket est le bucket vide bucket-dst existant dans Amazon S3.

  6. Dans le champ Key, dans la zone Destination Configuration, saisissez la nouvelle clé de l'objet, après copie dans le bucket de destination. Dans cet exemple, saisissez tS3Copy_icon32_dst.png.

Lister l'objet dans le bucket de destination

  1. Double-cliquez sur le composant tS3List pour ouvrir sa vue Basic settings.

  2. Cochez la case Use an existing connection pour réutiliser les informations de connexion à Amazon S3 définies dans le composant tS3Connection.

  3. Décochez la case List all buckets objects, puis cliquez sur le bouton [+] pour ajouter une ligne à la table Bucket affichée, puis configurez la valeur pour chaque colonne. Dans cet exemple, saisissez bucket-dst dans la colonne Bucket name et une valeur vide dans la colonne Key prefix. Ainsi, seuls les objets du bucket bucket-dst seront listés.

  4. Double-cliquez sur le tIterateToFlow pour ouvrir sa vue Basic settings.

  5. Cliquez sur le bouton [...] à côté du champ Edit schema et, dans l'éditeur du schéma, définissez le schéma en ajoutant une colonne ObjectList de type String.

  6. Cliquez sur OK pour sauvegarder les modifications, puis cliquez sur Yes dans la boîte de dialogue qui s'ouvre, afin d'accepter la propagation.

  7. Double-cliquez sur le tLogRow pour ouvrir sa vue Basic settings.