Création du moteur à l'aide de l'interface de ligne de commande AWS - Cloud

Guide de démarrage rapide de Talend Remote Engine Gen2

EnrichVersion
Cloud
EnrichProdName
Talend Cloud
EnrichPlatform
Talend Management Console
Talend Pipeline Designer
task
Déploiement > Déploiement > Exécution de Pipelines
Installation et mise à niveau

Avant de commencer

  • Vous devez avoir créé et vous être connecté(e) à un compte AWS avec les droits nécessaires pour instancier des ressources AWS.

  • Vous devez avoir téléchargé et installé le package aws-cli qui se trouve ici.

  • Vous devez avoir créé votre paire de clés AWS depuis la page NETWORK & SECURITY > Key Pairs de la Console Amazon EC2. Elle doit être stockée dans la région dans laquelle la pile du Remote Engine Gen2 sera créée.

  • Vous devez avoir copié la paire de clés Pair key que vous avez récupérée dans Talend Management Console. Pour plus d'informations, consultez Créer des Remote Engine Gen2.

  • Informations relatives aux ports : l'application Remote Engine Gen2 utilise le port 9005. Assurez-vous que votre pare-feu autorise la connexion sur ce port.

Procédure

  1. Dans votre Console Amazon EC2, allez à la page NETWORK & SECURITY > Security Groups.
  2. Cliquez sur Create Security Group et définissez les règles du groupe de sécurité comme suit :
    • Inbound : pas de connexion inbound nécessaire.

      En fait, le Remote Engine Gen2 est un moteur sécurisé qui nécessite seulement des règles outbound, puisqu'il se reconnecte au Talend Cloud pour recevoir les commandes à exécuter.

    • Outbound : conservez les valeurs par défaut (rien n'est filtré).

    • (Facultatif) Vous avez la possibilité de créer un accès SSH à votre instance.

      Pour plus d’informations, consultez la documentation Amazon sur les groupes de sécurité.

    Remarque : Votre groupe de sécurité doit être stocké dans la région où la pile de Remote Engine Gen2 sera créée et votre réseau doit autoriser l’accès à Internet afin d’accéder aux ressources Talend. Pour plus d’informations, consultez la documentation Amazon sur les sous-réseaux.
  3. Copiez votre Group ID de sécurité dans votre presse-papier. Cet identifiant sera utilisé pour accéder à l'instance du Remote Engine Gen2.
  4. Accédez à la page Subnets de votre VPC Dashboard et vérifiez que vous possédez un sous-réseau :
    • qui appartient au VPC où la pile de Remote Engine Gen2 sera déployée,
    • qui possède une passerelle Internet configurée dans l'onglet Route Table. Cette passerelle permet la communication entre le Remote Engine Gen2 et le Talend Cloud pour autoriser l'appairage du moteur.
      Conseil : S'il y a au moins une cible commençant par igw-, le VPC contient une passerelle Internet. Pour plus d’informations concernant les passerelles Internet, consultez la documentation Amazon.
  5. Copiez votre Subnet ID dans votre presse-papier. Cet identifiant sera utilisé pour accéder à l'instance du Remote Engine Gen2.
  6. Créez votre pile avec la commande aws cloudformation create-stack :
    • Soit en ajoutant tous les paramètres et leurs valeurs dans la commande :
      aws cloudformation create-stack --stack-name my-remote-engine-gen2 \ 
      							--template-url https://s3.amazonaws.com/<REGION>-pub-devops-talend-com/ereclient-manifest/<ENDPOINT>/latest/ereclient.json \
      							--parameters ParameterKey=KeyName,ParameterValue=MyKey \
      							ParameterKey=InstanceType,ParameterValue=m4.xlarge \
      							ParameterKey=SecurityGroupIds,ParameterValue=mySecurityGroup \
      							ParameterKey=SubnetId,ParameterValue=mySubnetId \
      							ParameterKey=PreAuthorizedKey,ParameterValue=myPairKey \
      							ParameterKey=ReServerLocation,ParameterValue=eu

      où les valeurs doivent être adaptées à votre environnement et où le modèle d'URL est :

      https://s3.amazonaws.com/us-east-1-pub-devops-talend-com/ereclient-manifest/us/latest/ereclient.json si votre compte AWS se trouve aux Etats-Unis (modèle US),

      ou https://s3.amazonaws.com/us-east-1-pub-devops-talend-com/ereclient-manifest/eu/latest/ereclient.json si votre compte AWS est situé en Europe (modèle UE)

      https://s3.amazonaws.com/eu-central-1-pub-devops-talend-com/ereclient-manifest/ap/latest/ereclient.json, si votre compte AWS se trouve en Asie-Pacifique (modèle APAC).

    • Soit en créant un fichier JSON avec les mêmes paramètres que dans l’exemple ci-dessus :
      [
      							{
      							"ParameterKey": "KeyName",
      							"ParameterValue": "MyKey"
      							}, 
      							{
      							"ParameterKey": "InstanceType",
      							"ParameterValue": "m4.xlarge"
      							},
      							{
      							"ParameterKey": "SecurityGroupIds",
      							"ParameterValue": "mySecurityGroup"
      							},
      							{
      							"ParameterKey": "SubnetId",
      							"ParameterValue": "mySubnetId"
      							},
      							{
      							"ParameterKey": "PreAuthorizedKey",
      							"ParameterValue": "myPairKey"
      							},
      							{
      							"ParameterKey": "ReServerLocation",
      							"ParameterValue": "<us|eu|ap>"
      							}  
      							]

      (où ReServerLocation est soit us, soit eu, soit ap en fonction de la région où vous souhaitez créer votre moteur Remote Engine Gen2)

      qui sera appelé avec la commande aws cloudformation create-stack :
      aws cloudformation create-stack --stack-name my-remote-engine-gen2 \
      								--template-url https://s3.amazonaws.com/<REGION>-pub-devops-talend-com/ereclient-manifest/<ENDPOINT>/latest/ereclient.json \
      								--parameters file:///some/local/path/params/my-remote-engine-gen2-parameters.json

      où les valeurs doivent être adaptées à votre environnement et où le modèle d'URL est :

      https://s3.amazonaws.com/us-east-1-pub-devops-talend-com/ereclient-manifest/us/latest/ereclient.json pour le modèle américain

      ou https://s3.amazonaws.com/us-east-1-pub-devops-talend-com/ereclient-manifest/eu/latest/ereclient.json pour le modèle UE

      ou https://s3.amazonaws.com/us-east-1-pub-devops-talend-com/ereclient-manifest/ap/latest/ereclient.json pour le modèle APAC.

Résultats

L’instance du Remote Engine Gen2 est créée et exécutée.

Que faire ensuite

Connectez-vous à Talend Cloud Management Console, accédez à la page ENGINES et vérifiez que le statut de Remote Engine Gen2 est passé de Not paired à Paired.

Remarque : Une fois votre moteur appairé, plusieurs minutes peuvent s'écouler avant qu'il soit prêt à être utilisé dans Talend Cloud Pipeline Designer. Durant cette période, le moteur s'affiche comme indisponible.
Maintenant que votre Remote Engine Gen2 est prêt, vous pouvez :
  • créer un profil d'exécution depuis Talend Cloud Management Console

  • utilisez votre Remote Engine Gen2 pour créer des connexions, des jeux de données ou pour exécuter des pipelines et des préparations dans les applications Talend Cloud.