tSQSOutput

Composants Talend Open Studio Guide de référence

EnrichVersion
6.3
EnrichProdName
Talend Open Studio for Data Quality
Talend Open Studio for Big Data
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Open Studio for Data Integration
task
Gouvernance de données
Qualité et préparation de données
Création et développement
EnrichPlatform
Studio Talend

Le tSQSOutput livre un ou plusieurs messages dans une file Amazon SQS (Simple Queue Service).

Propriétés du tSQSOutput dans des Jobs standard

Ces propriétés sont utilisées pour configurer le tSQSOutput.

Le composant tSQSOutput appartient à la famille Cloud/Amazon/SQS.

Basic settings

Use an existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat à partir de la liste Component List pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

Access Key et Secret Key

Spécifiez les clés d'accès (l'ID de la clé d'accès dans le champ Access Key et la clé secrète d'accès dans le champ Secret Key) requises pour accéder à Amazon Web Services. Pour plus d'informations concernant les clés d'accès d'AWS, consultez Access keys (access key ID and secret access key) (en anglais).

Pour saisir la clé secrète, cliquez sur le bouton [...] à côté du champ Secret key, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles puis cliquez sur OK afin de sauvegarder les paramètres.

Inherit credentials from AWS role

Cochez cette case pour tirer parti des informations d'authentification du profil de l'instance. Ces informations peuvent être utilisée sur des instances Amazon EC2 et sont fournies via le service de métadonnées d'Amazon EC2. Pour utiliser cette option, votre Job doit s'exécuter dans Amazon EC2 ou d'autres services pouvant tirer parti des rôles IAM pour accéder aux ressources. Pour plus d'informations, consultez Using an IAM Role to Grant Permissions to Applications Running on Amazon EC2 Instances (en anglais).

Assume role

Cochez cette case et spécifiez les valeurs des paramètres utilisés pour créer une nouvelle session du rôle.

  • Role ARN : nom Amazon Resource Name (ARN) du rôle.

  • Role session name : identifiant de la session du rôle.

  • Session duration (minutes) : durée (en minutes) pour laquelle est active la session du rôle.

Pour plus d'informations concernant les rôles et AssumeRole, consultez AssumeRole (en anglais).

Region

Spécifiez la région AWS en sélectionnant un nom de région ou en saisissant une région entre guillemets doubles (par exemple "us-east-1") dans la liste. Pour plus d'informations concernant les régions AWS, consultez AWS Regions and Endpoints (en anglais).

Queue URL

Spécifiez le nom ou l'URL de la file dans laquelle livrer les messages.

Schema et Edit schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Notez que le schéma de ce composant est prédéfini et contient une seule colonne de type String, nommée Body, stockant le corps de chaque message à livrer. Vous pouvez cliquer sur le bouton à côté du champ Edit schema afin de voir son schéma et le modifier, en ajoutant des attributs personnalisés pour les messages à livrer.

Use batch mode

Cochez cette case pour livrer les messages dans la file à l'aide d'une requête par lots. Dans le champ Batch size qui s'affiche, saisissez le nombre de messages à livrer par lot. Notez que le nombre maximal de messages à livrer par lot est de 10.

Die on error

Cochez cette case pour arrêter l'exécution du Job lorsqu'une erreur survient.

Advanced settings

Config client

Cochez cette case et, dans la table affichée, spécifiez les paramètres de configuration de la table. Cliquez sur le bouton sous la table pour ajouter autant de lignes que nécessaire, chaque ligne pour un paramètre de configuration client et configurez la valeur des attributs suivants pour chaque paramètre :

  • Client Parameter : cliquez dans la cellule et sélectionnez un paramètre dans la liste déroulante.

  • Value : saisissez la valeur du paramètre correspondant.

STS Endpoint

Cochez cette case et, dans le champ qui s'affiche, spécifiez l'endpoint du service AWS Security Token Service duquel les informations d'authentification sont récupérées.

Cette case est disponible uniquement lorsque la case Assume role est cochée.

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant.

Variables globales

NB_LINE

Nombre de messages traités. Cette variable est une variable After et retourne un entier.

NB_LINE_SUCCESS

Nombre de messages mis dans la file. Cette variable est une variable After et retourne un entier.

NB_LINE_REJECTED

Nombre de messages rejetés. Cette variable est une variable After et retourne un entier.

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, lorsque le composant contient cette case.

Utilisation

Règle d'utilisation

Ce composant est généralement utilisé comme composant de fin dans un Job ou un sous-job et nécessite un lien d'entrée.

Livrer des messages dans une file Amazon SQS

Voici un exemple d'utilisation des composants Talend pour créer une file Amazon SQS (Simple Queue Service) et livrer quelques messages dans la file.

Les messages d'entrée dans cet exemple se présentent comme suit et chaque message contient l'attribut de l'auteur du message, ainsi que les informations du corps du message.

#Creator;Body
Talend DOC Team;the 1st message from Talend DOC team
Talend DEV Team;the 2nd message from Talend DEV team
Talend QA Team;the 3rd message from Talend QA team

Créer un Job pour livrer des messages Amazon SQS

Créez un Job pour ouvrir une connexion afin d'accéder à Amazon SQS, puis créez une file Amazon SQS et terminez par livrer des messages à la file.

  1. Créez un nouveau Job et ajoutez un tSQSConnection, un tSQSQueueCreate, un tFixedFlowInput, et un tSQSOutput en saisissant leur nom dans l'espace de modélisation graphique ou en les déposant depuis la Palette.

  2. Reliez le composant tFixedFlowInput au tSQSOutput à l'aide d'un lien Row > Main.

  3. Reliez le tSQSConnection au tSQSQueueCreate à l'aide d'un lien Trigger > OnSubjobOk.

  4. Reliez le composant tSQSQueueCreate au tFixedFlowInput à l'aide d'un lien Trigger > OnSubjobOk.

Ouvrir une connexion pour accéder à Amazon SQS

Configurez le tSQSConnection pour ouvrir une connexion et accéder à Amazon SQS.

  1. Double-cliquez sur le tSQSConnection pour ouvrir sa vue Basic settings.

  2. Dans les champs Access Key et Secret Key, spécifiez les informations d'authentification requises pour accéder à Amazon SQS.

  3. Sélectionnez une région AWS disponible pour Amazon SQS dans la liste Region. Dans cet exemple, sélectionnez Asia Pacific (Tokyo).

Créer une file Amazon SQS

Configurez le composant tSQSQueueCreate afin de créer une file Amazon SQS.

  1. Double-cliquez sur le tSQSQueueCreate pour ouvrir sa vue Basic settings.

  2. Spécifiez les informations de connexion requises pour accéder à Amazon SQS. Dans cet exemple, cochez la case Use an existing connection et, dans la liste Component List qui s'affiche, sélectionnez le composant de connexion afin de réutiliser les informations précédemment définies.

  3. Dans le champ Queue, spécifiez le nom de la file à créer. Dans cet exemple, saisissez talend.

  4. Si nécessaire, spécifiez les attributs de la file à créer, dans la table Queue Attributes. Dans cet exemple, l'attribut MessageRetentionPeriod est ajouté et sa valeur est définie à 86400, ce qui signifie qu'Amazon SQS va retenir les message livrés dans la file durant 86 400 secondes (une journée) au lieu de la valeur par défaut de 345 600 secondes (quatre jours).

Livrer des messages dans la file Amazon SQS

Configurez les composants tFixedFlowInput et tSQSOutput pour livrer des messages à la nouvelle file vide Amazon SQS.

  1. Double-cliquez sur le composant tSQSOutput pour ouvrir sa vue Basic settings.

  2. Spécifiez les informations de connexion requises pour accéder à Amazon SQS. Dans cet exemple, cochez la case Use an existing connection et, dans la liste Component List qui s'affiche, sélectionnez le composant de connexion afin de réutiliser les informations de connexion précédemment définies.

  3. Dans le champ Queue URL, saisissez le nom de la file dans laquelle les messages seront livrés. Dans cet exemple, saisissez talend.

  4. Cliquez sur le bouton à côté du champ Edit schema, pour ouvrir le schéma.

    Vous pouvez constater que le schéma du tSQSOutput est prédéfini et contient une seule colonne de type String, nommée Body, stockant le corps de chaque message à livrer.

  5. Cliquez sur le bouton dans le panneau de droite afin d'ajouter une colonne, nommée Creator, de type String, qui contiendra la valeur de l'attribut personnalisé de l'auteur de chaque message.

  6. Cliquez sur le bouton afin de copier toutes les colonnes du schéma de sortie dans le schéma d'entrée. Dans la boîte de dialogue qui s'ouvre, cliquez sur OK pour accepter les modifications.

  7. Cliquez sur OK pour fermer le schéma.

  8. Double-cliquez sur le tFixedFlowInput pour ouvrir sa vue Basic settings.

  9. Dans la zone Mode, sélectionnez Use Inline Content(delimited file). Dans le champ Content, saisissez l'attribut de l'auteur et les données du corps des messages à livrer dans Amazon SQS. Dans cet exemple, saisissez :

    Talend DOC Team;the 1st message from Talend DOC team
    Talend DEV Team;the 2nd message from Talend DEV team
    Talend QA Team;the 3rd message from Talend QA team

Exécuter le Job pour livrer des messages dans Amazon SQS

Après avoir configuré le Job et ses composants, afin de livrer des messages Amazon SQS, vous pouvez exécuter le Job et vérifiez ses résultats d'exécution.

  1. Appuyez sur les touches Ctrl + S afin de sauvegarder le Job, puis sur F6 pour l'exécuter.

    Comme affiché ci-dessus, le Job a bien été exécuté.

  2. Regardez les détails de la file dans la console AWS, afin de valider les résultats d'exécution du Job.