tSQSInput - 6.3

Composants Talend Guide de référence

EnrichVersion
6.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Le tSQSInput récupère un ou plusieurs messages, dans la limite de dix messages, depuis une file Amazon SQS (Simple Queue Service).

Propriétés du tSQSInput dans des Jobs standard

Ces propriétés sont utilisées pour configurer le tSQSInput s'exécutant dans le framework des Jobs standard.

Le composant tSQSInput standard appartient à la famille Cloud/Amazon/SQS.

Basic settings

Use an existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat à partir de la liste Component List pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

Access Key et Secret Key

Spécifiez les clés d'accès (l'ID de la clé d'accès dans le champ Access Key et la clé secrète d'accès dans le champ Secret Key) requises pour accéder à Amazon Web Services. Pour plus d'informations concernant les clés d'accès d'AWS, consultez Access keys (access key ID and secret access key) (en anglais).

Pour saisir la clé secrète, cliquez sur le bouton [...] à côté du champ Secret key, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles puis cliquez sur OK afin de sauvegarder les paramètres.

Inherit credentials from AWS role

Cochez cette case pour tirer parti des informations d'authentification du profil de l'instance. Ces informations peuvent être utilisée sur des instances Amazon EC2 et sont fournies via le service de métadonnées d'Amazon EC2. Pour utiliser cette option, votre Job doit s'exécuter dans Amazon EC2 ou d'autres services pouvant tirer parti des rôles IAM pour accéder aux ressources. Pour plus d'informations, consultez Using an IAM Role to Grant Permissions to Applications Running on Amazon EC2 Instances (en anglais).

Assume role

Cochez cette case et spécifiez les valeurs des paramètres utilisés pour créer une nouvelle session du rôle.

  • Role ARN : nom Amazon Resource Name (ARN) du rôle.

  • Role session name : identifiant de la session du rôle.

  • Session duration (minutes) : durée (en minutes) pour laquelle est active la session du rôle.

Pour plus d'informations concernant les rôles et AssumeRole, consultez AssumeRole (en anglais).

Region

Spécifiez la région AWS en sélectionnant un nom de région ou en saisissant une région entre guillemets doubles (par exemple "us-east-1") dans la liste. Pour plus d'informations concernant les régions AWS, consultez AWS Regions and Endpoints (en anglais).

Queue URL

Spécifiez l'URL de la file de laquelle récupérer les messages.

Schema et Edit schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Le schéma de ce composant est prédéfini, avec les quatre attributs de messages de type String suivants :

  • MessageId : ID du message.

  • ReceiptHandle : gestion de l'accusé réception du message.

  • MD5OfBody : MD5 du corps du message.

  • Body : corps du message.

Vous pouvez cliquer sur le bouton à côté du champ Edit schema pour voir le schéma et le modifier en supprimant les attributs existants ou en ajoutant les attributs SQS standard et les attributs personnalisés.

Read standard attributes

Cochez cette case pour récupérer les attributs Amazon SQS standard avec chaque message. Pour plus d'informations concernant les attributs Amazon SQS, consultez ReceiveMessage > Request Parameters (en anglais).

Read custom user attributes

Cochez cette case afin de récupérer les attributs personnalisés avec chaque message.

Custom visibility timeout

Cochez cette case et, dans le champ qui s'affiche, spécifiez le délai avant suspension de la visibilité (en secondes) pour les messages reçus. Si aucun délai n'est spécifié, le délai avant suspension de la visibilité globale des la file sera utilisé pour les messages reçus. Pour plus d'informations, consultez Visibility Timeout (en anglais).

Custom wait time

Cochez cette case et, dans le champ qui s'affiche, spécifiez la durée (en secondes) durant laquelle l'appel attend que le message arrive dans la file avant que l'appel soit retourné.

Delete the messages while streaming

Cochez cette case pour supprimer le message en le récupérant de la file.

Read all messages from the queue

Cochez cette case pour récupérer tous les messages de la file.

Cette case n'est pas disponible lorsque la case Delete the messages while streaming est décochée.

Die on error

Cochez cette case pour arrêter l'exécution du Job lorsqu'une erreur survient.

Advanced settings

Config client

Cochez cette case et, dans la table affichée, spécifiez les paramètres de configuration de la table. Cliquez sur le bouton sous la table pour ajouter autant de lignes que nécessaire, chaque ligne pour un paramètre de configuration client et configurez la valeur des attributs suivants pour chaque paramètre :

  • Client Parameter : cliquez dans la cellule et sélectionnez un paramètre dans la liste déroulante.

  • Value : saisissez la valeur du paramètre correspondant.

STS Endpoint

Cochez cette case et, dans le champ qui s'affiche, spécifiez l'endpoint du service AWS Security Token Service duquel les informations d'authentification sont récupérées.

Cette case est disponible uniquement lorsque la case Assume role est cochée.

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant.

Variables globales

NB_LINE

Nombre de messages traités. Cette variable est une variable After et retourne un entier.

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, lorsque le composant contient cette case.

Utilisation

Règle d'utilisation

Ce composant est généralement utilisé en tant que composant de début dans un Job ou un sous-job et nécessite un lien de sortie.

Récupérer des messages d'une file Amazon SQS

Voici un exemple d'utilisation des composants Talend pour récupérer tous les messages d'une file Amazon SQS (Simple Queue Service) existante et supprimer la file vide.

Créer un Job pour récupérer des messages Amazon SQS

Créez un Job pour ouvrir une connexion afin d'accéder à Amazon SQS, récupérer tous les messages d'une file Amazon SQS existante et supprimer la file.

Prérequis : vous devez livrer l'attribut de l'auteur du message et les données du corps du message à la file Amazon SQS nommée talend, afin de reproduire ce scénario.

#Creator;Body
Talend DOC Team;the 1st message from Talend DOC team
Talend DEV Team;the 2nd message from Talend DEV team
Talend QA Team;the 3rd message from Talend QA team
  1. Créez un nouveau Job et ajoutez un composant tSQSConnection, un tSQSInput, un tLogRow et un tSQSQueueDelete en saisissant leur nom dans l'espace de modélisation graphique ou en les déposant depuis la Palette.

  2. Reliez le tSQSInput au tLogRow à l'aide d'un lien Row > Main.

  3. Reliez le tSQSConnection au tSQSInput à l'aide d'un lien Trigger > OnSubjobOk.

  4. Reliez le tSQSInput au tSQSQueueDelete à l'aide d'un lien Trigger > OnSubjobOk.

Ouvrir une connexion pour accéder à Amazon SQS

Configurez le tSQSConnection pour ouvrir une connexion à Amazon SQS et y accéder.

  1. Double-cliquez sur le tSQSConnection pour ouvrir sa vue Basic settings.

  2. Dans les champs Access Key et Secret Key, spécifiez les informations d'authentification requises pour accéder à Amazon SQS.

  3. Sélectionnez une région AWS disponible pour Amazon SQS, dans la liste Region. Dans cet exemple, sélectionnez Asia Pacific (Tokyo).

Récupérer des messages d'une file Amazon SQS

Configurez le composant tSQSInput et le tLogRow pour récupérer tous les messages d'une file Amazon SQS existante et afficher les messages récupérés dans la console du Studio Talend.

  1. Double-cliquez sur le composant tSQSInput pour ouvrir sa vue Basic settings.

  2. Spécifiez les informations de connexion requises pour accéder à Amazon SQS. Dans cet exemple, cochez la case Use an existing connection et, dans la liste Component List qui s'affiche, sélectionnez le composant de connexion afin de réutiliser ses informations de connexion précédemment saisies.

  3. Dans le champ Queue URL, saisissez le nom de la file de laquelle les messages seront récupérés. Dans cet exemple, saisissez talend.

  4. Cliquez sur le bouton à côté du champ Edit schema afin d'ouvrir la fenêtre du schéma.

    Vous pouvez voir que le schéma du tSQSInput est prédéfini et contient quatre colonnes de type String : MessageId, ReceiptHandle, MD5OfBody et Body.

  5. Cliquez cinq fois sur le bouton pour ajouter cinq colonnes de type String, dont quatre pour des attributs Amazon SQS ApproximateFirstReceiveTimestamp, ApproximateReceiveCount, SenderId et SentTimestamp et une pour l'attribut personnalisé Creator.

  6. Cliquez sur OK afin de sauvegarder les modifications et fermer la fenêtre du schéma.

  7. Cochez les cases Read standard attributes et Read custom user attributes afin de récupérer la valeur des quatre attributs Amazon SQS et de l'attribut personnalisé, avec chaque message.

  8. Double-cliquez sur le tLogRow pour ouvrir sa vue Basic settings, puis sélectionnez l'option Table (print values in cells of a table) dans la zone Mode pour une meilleure lisibilité des résultats.

Supprimer une file Amazon SQS

Configurez le composant tSQSQueueDelete pour créer une file Amazon SQS.

  1. Double-cliquez sur le tSQSQueueDelete pour ouvrir sa vue Basic settings.

  2. Spécifiiez les détails de connexion requis pour accéder à Amazon SQS. Dans cet exemple, cochez la case Use an existing connection et, dans la liste Component List qui s'affiche, sélectionnez le composant de connexion, afin de réutiliser les informations précédemment définies.

  3. Dans le champ Queue, saisissez le nom de la file à supprimer. Dans cet exemple, saisissez talend.

Exécuter le Job pour récupérer des messages Amazon SQS

Une fois le Job et les composants configurés pour récupérer des messages Amazon SQS, vous pouvez exécuter le Job et vérifier ses résultats d'exécution.

  1. Appuyez sur les touches Ctrl + S afin de sauvegarder le Job, puis sur F6 pour l'exécuter.