Propriétés du tAmazonEMRManage - 6.3

Composants Talend Guide de référence

EnrichVersion
6.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Famille du composant

Cloud/Amazon/EMR

Basic settings

Access key et Secret key

Spécifiez les clés d'accès (l'ID de la clé d'accès dans le champ Access Key et la clé secrète d'accès dans le champ Secret Key) requises pour accéder à Amazon Web Services. Pour plus d'informations concernant les clés d'accès d'AWS, consultez Access keys (access key ID and secret access key) (en anglais).

Pour saisir la clé secrète, cliquez sur le bouton [...] à côté du champ Secret key, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles puis cliquez sur OK afin de sauvegarder les paramètres.

 

Inherit credentials from AWS role

Cochez cette case pour tirer parti des informations d'authentification du profil de l'instance. Ces informations peuvent être utilisée sur des instances Amazon EC2 et sont fournies via le service de métadonnées d'Amazon EC2. Pour utiliser cette option, votre Job doit s'exécuter dans Amazon EC2 ou d'autres services pouvant tirer parti des rôles IAM pour accéder aux ressources. Pour plus d'informations, consultez Using an IAM Role to Grant Permissions to Applications Running on Amazon EC2 Instances (en anglais).

 

Assume role

Cochez cette case et spécifiez les valeurs des paramètres utilisés pour créer une nouvelle session du rôle.

  • Role ARN : nom Amazon Resource Name (ARN) du rôle.

  • Role session name : identifiant de la session du rôle.

  • Session duration (minutes) : durée (en minutes) pour laquelle est active la session du rôle.

Pour plus d'informations concernant les rôles et AssumeRole, consultez AssumeRole (en anglais).

Configuration

Action

Sélectionnez dans la liste une action à effectuer, Start ou Stop.

  • Start : lance un cluster EMR.

  • Stop : termine un cluster Amazon EMR.

Region

Spécifiez la région AWS en sélectionnant dans la liste un nom de région ou saisissez un nom de région entre guillemets doubles (par exemple "us-east-1"). Pour plus d'informations concernant comment spécifier la région AWS, consultez Choose an AWS Region (en anglais).

Cluster name

Saisissez le nom du cluster.

Cluster version

Sélectionnez la version du cluster.

Application

Sélectionnez les applications à installer sur le cluster.

Cette liste est uniquement disponible si une version EMR est sélectionnée dans la liste Cluster version.

Service role

Saisissez le rôle IAM (Identity and Access Management) pour le service Amazon EMR. Le rôle par défaut est EMR_DefaultRole. Pour utiliser ce rôle par défaut, vous devez l'avoir déjà créé.

Job flow role

Saisissez le rôle IAM pour les instances EC2 gérées par Amazon EMR. Le rôle par défaut est EMR_EC2_DefaultRole. Pour utiliser ce rôle par défaut, vous devez l'avoir déjà créé.

Enable log

Cochez cette case pour activer l'enregistrement des logs et, dans le champ qui s'affiche, spécifiez le chemin d'accès à un dossier dans un bucket S3 dans lequel vous souhaitez qu'Amazon EMR écrive les données de log.

Use EC2 key pair

Cochez cette case pour associer une paire de clés Amazon EC2 (Elastic Compute Cloud) au cluster et, dans le champ affiché, saisissez le nom de votre paire de clés EC2.

Predicate

Spécifiez le(s) cluster(s) que vous souhaitez arrêter :

  • All running clusters : tous les clusters en cours d'exécution seront arrêtés.

  • All running clusters with predefined name : le cluster en cours d'exécution ayant le nom défini sera arrêté. Dans le champ Cluster name affiché, vous devez spécifier le nom du cluster à arrêter.

  • Running cluster with predefined id : le cluster en cours d'exécution ayant un ID donné va être arrêté. Dans le champ Cluster id affiché, vous devez spécifier l'ID du cluster à arrêter.

Cette liste est disponible uniquement lorsque l'option Stop est sélectionnée dans la liste Action.

Instance Configuration

Instance count

Saisissez le nombre d'instances d'Amazon EC2 à initialiser.

Master instance type

Sélectionne le type d'instance maître à initialiser.

Slave instance type

Sélectionnez le type d'instance esclave à initialiser.

Advanced settings

STS Endpoint

Cochez cette case et, dans le champ qui s'affiche, spécifiez l'endpoint du service AWS Security Token Service duquel les informations d'authentification sont récupérées.

Cette case est disponible uniquement lorsque la case Assume role est cochée.

Wait for cluster ready

Cochez cette case pour laisser votre Job attendre jusqu'à ce que le lancement du cluster soit terminé.

Visible to all users

Cochez cette case pour rendre visible le cluster à tous les utilisateurs IAM.

Termination Protect

Cochez cette case pour activer la protection contre les arrêts afin d'empêcher les instances de s'éteindre à cause d'erreurs ou de problèmes au cours du traitement.

Enable debug

Cochez cette case pour activer le mode débogage.

Subnet id

Spécifiez l'identifiant du sous-réseau de Amazon VPC (Virtual Private Cloud) dans lequel vous souhaitez démarrer le flux du Job.

Availability Zone

Spécifiez la zone de disponibilité pour les instances EC2 de votre cluster.

Master security group

Spécifiez le groupe de sécurité pour l'instance maître.

Additional master security groups

Spécifiez des groupes de sécurité supplémentaires pour l'instance maître et séparez-les à l'aide d'une virgule, par exemple, gname1, gname2, gname3.

Slave security group

Spécifiez le groupe de sécurité pour les instances esclaves.

Additional slave security groups

Spécifiez des groupes de sécurité supplémentaires pour les instances esclaves et séparez-les à l'aide d'une virgule, par exemple, gname1, gname2, gname3.

Bootstrap

Actions

Spécifiez les actions de bootstrapping associées au cluster, en cliquant sur le bouton [+] sous la table, pour ajouter autant de lignes que nécessaire, chaque ligne pour une action de bootstrapping. Configurez les paramètres pour chaque action :

  • Name : saisissez le nom de l'action de bootstrapping.

  • Script location : spécifiez l'emplacement du script exécuté par l'action de bootstrapping, par exemple, s3://ap-northeast-1.elasticmapreduce/bootstrap-actions/run-if.

  • Arguments : saisissez la liste des arguments de commandes (séparés par des virgules) passés à l'action de bootstrapping, par exemple, "arg0","arg1","arg2".

Pour plus d'informations concernant les actions de bootstrapping, consultez BootstrapActionConfig (en anglais).

Step Configuration

Steps

Spécifiez les étapes du flux du job à invoquer sur le cluster après son lancement, en cliquant sur le bouton [+] pour ajouter autant de lignes que nécessaire, chaque ligne pour une étape. Configurez les paramètres suivants pour chaque étape :

  • Name : saisissez le nom de l'étape du flux du job.

  • Action on Failure : cliquez dans la cellule et, dans la liste déroulante, sélectionnez l'action à effectuer si l'étape du flux du job échoue.

  • Main Class : saisissez le nom de la classe principale dans le fichier Java spécifié. Si aucun nom n'est spécifié, le fichier Jar doit spécifier une classe principale dans son fichier manifest.

  • Jar : saisissez le chemin d'accès au fichier Jar exécuté au cours de l'étape, par exemple, "s3://inputjar/test.jar".

  • Args : saisissez la liste des arguments de l'invite de commande (séparés par une virgule) passés à la fonction principale du fichier Jar lors de l'exécution, par exemple "arg0","arg1","arg2".

Pour plus d'informations concernant les étapes du flux du job, consultez StepConfig (en anglais).

Keep alive after steps complete

Cochez cette case pour garder actif le flux du job une fois les étapes terminées.

Wait for steps to complete

Cochez cette case pour que votre Job attende jusqu'à ce que les étapes du flux du job soient terminées.

Cette case est disponible uniquement lorsque la case Wait for cluster ready est cochée.

Properties

Spécifiez les informations de classification et de propriété fournies à l'objet de configuration du cluster EMR à créer, en cliquant sur le bouton [+] sous la table pour ajouter autant que lignes que nécessaire, chaque ligne pour une propriété. Configurez les paramètres suivants :

  • Classification : spécifiez la classification de la configuration.

  • Key : saisissez la clé de la propriété.

  • Value : saisissez la valeur de la propriété.

tStatCatcher Statistics

Cochez cette case afin de collecter les informations de log au niveau du Job, ainsi qu'au niveau de chaque composant.

Global Variables

CLUSTER_FINAL_ID : ID du cluster. Cette variable est une variable After et retourne une chaîne de caractères.

CLUSTER_FINAL_NAME : nom du cluster. Cette variable est une variable After et retourne une chaîne de caractères.

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Le tAmazonEMRManage est généralement utilisé en tant que composant standalone.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).