tSQSQueueList - 6.3

Composants Talend Guide de référence

EnrichVersion
6.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Le tSQSQueueList effectue des itérations et liste l'URL des files Amazon SQS (Simple Queue Service) dans une région spécifiée.

Propriétés du tSQSQueueList dans des Jobs standard

Ces propriétés sont utilisées pour configurer le tSQSQueueList s'exécutant dans le framework des Jobs standard.

Le composant tSQSQueueList standard appartient à la famille Cloud/Amazon/SQS.

Basic settings

Use an existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat à partir de la liste Component List pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

Access Key et Secret Key

Spécifiez les clés d'accès (l'ID de la clé d'accès dans le champ Access Key et la clé secrète d'accès dans le champ Secret Key) requises pour accéder à Amazon Web Services. Pour plus d'informations concernant les clés d'accès d'AWS, consultez Access keys (access key ID and secret access key) (en anglais).

Pour saisir la clé secrète, cliquez sur le bouton [...] à côté du champ Secret key, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles puis cliquez sur OK afin de sauvegarder les paramètres.

Inherit credentials from AWS role

Cochez cette case pour tirer parti des informations d'authentification du profil de l'instance. Ces informations peuvent être utilisée sur des instances Amazon EC2 et sont fournies via le service de métadonnées d'Amazon EC2. Pour utiliser cette option, votre Job doit s'exécuter dans Amazon EC2 ou d'autres services pouvant tirer parti des rôles IAM pour accéder aux ressources. Pour plus d'informations, consultez Using an IAM Role to Grant Permissions to Applications Running on Amazon EC2 Instances (en anglais).

Assume role

Cochez cette case et spécifiez les valeurs des paramètres utilisés pour créer une nouvelle session du rôle.

  • Role ARN : nom Amazon Resource Name (ARN) du rôle.

  • Role session name : identifiant de la session du rôle.

  • Session duration (minutes) : durée (en minutes) pour laquelle est active la session du rôle.

Pour plus d'informations concernant les rôles et AssumeRole, consultez AssumeRole (en anglais).

Region

Spécifiez la région AWS en sélectionnant un nom de région ou en saisissant une région entre guillemets doubles (par exemple "us-east-1") dans la liste. Pour plus d'informations concernant les régions AWS, consultez AWS Regions and Endpoints (en anglais).

Advanced settings

Config client

Cochez cette case et, dans la table affichée, spécifiez les paramètres de configuration de la table. Cliquez sur le bouton sous la table pour ajouter autant de lignes que nécessaire, chaque ligne pour un paramètre de configuration client et configurez la valeur des attributs suivants pour chaque paramètre :

  • Client Parameter : cliquez dans la cellule et sélectionnez un paramètre dans la liste déroulante.

  • Value : saisissez la valeur du paramètre correspondant.

STS Endpoint

Cochez cette case et, dans le champ qui s'affiche, spécifiez l'endpoint du service AWS Security Token Service duquel les informations d'authentification sont récupérées.

Cette case est disponible uniquement lorsque la case Assume role est cochée.

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant.

Variables globales

CURRENT_QUEUE_NAME

L'URL de la file à traiter. Cette variable est une variable Flow et retourne une chaîne de caractères.

NB_QUEUE

Nombre de files traitées. Cette variable est une variable After et retourne un entier.

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne un entier.

Utilisation

Règle d'utilisation

Ce composant peut-être utilisé en tant que standalone ou en tant que composant de début dans un Job ou un sous-job.

Lister des files Amazon SQS dans une région AWS

Voici un exemple d'utilisation des composants Talend pour itérer et lister les URL de toutes les files Amazon SQS (Simple Queue Service) dans une région AWS.

Créer un Job pour lister les files Amazon SQS

Créez un Job pour ouvrir une connexion pour accéder à Amazon SQS, puis effectuer une itération et lister toutes les URL des files Amazon SQS dans une région spécifiée, pour ensuite afficher le nombre total de files dans la région.

Prérequis : vous devez créer plusieurs files Amazon SQS dans une région AWS afin de reproduire ce scénario. Dans cet exemple, quatre files talend, talend-dev, talend-doc et talend-qa ont été créées dans la région Asia Pacific (Tokyo), comme l'indique la capture d'écran ci-dessous.

  1. Créez un nouveau Job et ajoutez un composant tSQSConnection, un tSQSQueueList, un tIterateToFlow, un tLogRow et un tJava, en saisissant leur nom dans l'espace de modélisation graphique ou en les déposant depuis la Palette.

  2. Reliez le tSQSQueueList au tIterateToFlow à l'aide d'un lien Row > Iterate.

  3. Reliez le tIterateToFlow au tLogRow à l'aide d'un lien Row > Main.

  4. Reliez le composant tSQSConnection au tSQSQueueList à l'aide d'un lienTrigger > OnSubjobOk.

  5. Reliez le tSQSQueueList au tJava à l'aide d'un lien Trigger > OnSubjobOk.

Ouvrir une connexion pour accéder à Amazon SQS

Configurez le tSQSConnection pour ouvrir une connexion à Amazon SQS et y accéder.

  1. Double-cliquez sur le tSQSConnection pour ouvrir sa vue Basic settings.

  2. Dans les champs Access Key et Secret Key, spécifiez les informations d'authentification requises pour accéder à Amazon SQS.

  3. Sélectionnez une région AWS disponible pour Amazon SQS dans la liset Region. Dans cet exemple, sélectionnez Asia Pacific (Tokyo).

Lister toutes les files Amazon SQS dans une région AWS

Configurez le composant tSQSQueueList, le tIterateToFlow, le tLogRow et le tJava pour lister toutes les URL des files Amazon SQS dans une région AWS et afficher le nombre total de files dans la console du Studio Talend.

  1. Double-cliquez sur le composant tSQSQueueList pour ouvrir sa vue Basic settings.

  2. Spécifiez les informations de connexion requises pour accéder à Amazon SQS. Dans cet exemple, cochez la case Use an existing connection et, dans la liste Component List qui s'affiche, sélectionnez le composant de connexion afin de réutiliser les informations précédemment définies.

  3. Double-cliquez sur le tIterateToFlow pour ouvrir sa vue Basic settings.

  4. Cliquez sur le bouton à côté du champ Edit schema pour ouvrir le schéma.

  5. Cliquez sur le bouton pour ajouter une colonne de type String nommée CurrentQueueURL qui contiendra les URLs des files à lister. Cela fait, cliquez sur OK pour fermer le schéma.

  6. Dans la table Mapping, configurez la valeur de la colonne CurrentQueueURL. Dans cet exemple, la valeur est configurée à ((String)globalMap.get("tSQSQueueList_1_CURRENT_QUEUE_NAME")), qui est la valeur de la variable globale CURRENT_QUEUE_NAME pour le composant tSQSQueueList.

    Notez que vous pouvez renseigner la valeur en appuyant sur les touches Ctrl + Espace pour accéder à la liste des variables globales et sélectionner tSQSQueueList_1_CURRENT_QUEUE_NAME dans la liste.

  7. Double-cliquez sur le tLogRow pour ouvrir sa vue Basic settings et sélectionnez Table (print values in cells of a table) dans la zone Mode, pour une meilleure lisibilité des résultats.

  8. Double-cliquez sur le composant tJava pour ouvrir sa vue Basic settings.

  9. Dans le champ Code, saisissez le code suivant pour afficher le nombre total de files dans la région.

    System.out.println("The number of queues: " + ((Integer)globalMap.get("tSQSQueueList_1_NB_QUEUE")));

Exécuter le Job pour lister les files Amazon SQS

Après avoir configuré le Job et ses composants pour lister les files Amazon SQS, vous pouvez exécuter le Job et vérifier les résultats d'exécution du Job.

  1. Appuyez sur les touches Ctrl + S pour sauvegarder le Job.

  2. Appuyez sur F6 pour l'exécuter.