tAmazonEMRManage - 6.1

Composants Talend Open Studio Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Fonction

Le composant tAmazonEMRManage lance ou termine un cluster sur Amazon EMR (Elastic MapReduce).

Objectif

Le tAmazonEMRManage vous permet de gérer des clusters Amazon EMR (Elastic MapReduce).

Propriétés du tAmazonEMRManage

Famille du composant

Cloud

Basic settings

Access Key et Secret Key

Saisissez la clé d'accès et la clé secrète requises par Amazon pour authentifier vos requêtes vers ses Services Web. Ces informations d'authentification sont générées depuis l'onglet Security Credential de la page de votre compte Amazon.

Pour saisir la clé secrète, cliquez sur le bouton [...] à côté du champ Secret key, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles puis cliquez sur OK afin de sauvegarder les paramètres.

Configuration

Action

Sélectionnez dans la liste une action à effectuer, Start ou Stop.

  • Start : lance un cluster EMR.

  • Stop : termine un cluster Amazon EMR.

Region

Spécifiez la région AWS en sélectionnant dans la liste un nom de région ou saisissez un nom de région entre guillemets doubles (par exemple "us-east-1"). Pour plus d'informations concernant comment spécifier la région AWS, consultez Choose an AWS Region (en anglais).

Cluster name

Saisissez le nom du cluster.

Cluster version

Sélectionnez la version du cluster.

Application

Sélectionnez les applications à installer sur le cluster.

Cette liste est uniquement disponible si une version EMR est sélectionnée dans la liste Cluster version.

Service role

Saisissez le rôle IAM (Identity and Access Management) pour le service Amazon EMR. Le rôle par défaut est EMR_DefaultRole. Pour utiliser ce rôle par défaut, vous devez l'avoir déjà créé.

Job flow role

Saisissez le rôle IAM pour les instances EC2 gérées par Amazon EMR. Le rôle par défaut est EMR_EC2_DefaultRole. Pour utiliser ce rôle par défaut, vous devez l'avoir déjà créé.

Enable log

Cochez cette case pour activer l'enregistrement des logs et, dans le champ qui s'affiche, spécifiez le chemin d'accès à un dossier dans un bucket S3 dans lequel vous souhaitez qu'Amazon EMR écrive les données de log.

Use EC2 key pair

Cochez cette case pour associer une paire de clés Amazon EC2 (Elastic Compute Cloud) au cluster et, dans le champ affiché, saisissez le nom de votre paire de clés EC2.

Predicate

Spécifiez le(s) cluster(s) que vous souhaitez arrêter :

  • All running clusters : tous les clusters en cours d'exécution seront arrêtés.

  • All running clusters with predefined name : le cluster en cours d'exécution ayant le nom défini sera arrêté. Dans le champ Cluster name affiché, vous devez spécifier le nom du cluster à arrêter.

  • Running cluster with predefined id : le cluster en cours d'exécution ayant un ID donné va être arrêté. Dans le champ Cluster id affiché, vous devez spécifier l'ID du cluster à arrêter.

Cette liste est disponible uniquement lorsque l'option Stop est sélectionnée dans la liste Action.

Instance Configuration

Instance count

Saisissez le nombre d'instances d'Amazon EC2 à initialiser.

Master instance type

Sélectionne le type d'instance maître à initialiser.

Slave instance type

Sélectionnez le type d'instance esclave à initialiser.

Advanced settings

Wait for cluster ready

Cochez cette case pour laisser votre Job attendre jusqu'à ce que le lancement du cluster soit terminé.

Visible to all users

Cochez cette case pour rendre visible le cluster à tous les utilisateurs IAM.

Termination Protect

Cochez cette case pour activer la protection contre les arrêts afin d'empêcher les instances de s'éteindre à cause d'erreurs ou de problèmes au cours du traitement.

Master security group

Spécifiez le groupe de sécurité pour l'instance maître.

Additional master security groups

Spécifiez des groupes de sécurité supplémentaires pour l'instance maître et séparez-les à l'aide d'une virgule, par exemple, gname1, gname2, gname3.

Slave security group

Spécifiez le groupe de sécurité pour les instances esclaves.

Additional slave security groups

Spécifiez des groupes de sécurité supplémentaires pour les instances esclaves et séparez-les à l'aide d'une virgule, par exemple, gname1, gname2, gname3.

tStatCatcher Statistics

Cochez cette case afin de collecter les informations de log au niveau du Job, ainsi qu'au niveau de chaque composant.

Global Variables

CLUSTER_FINAL_ID : ID du cluster. Cette variable est une variable After et retourne une chaîne de caractères.

CLUSTER_FINAL_NAME : nom du cluster. Cette variable est une variable After et retourne une chaîne de caractères.

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Le tAmazonEMRManage est généralement utilisé en tant que composant standalone.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Scénario associé

Aucun scénario n'est disponible pour ce composant.