AWSコマンドラインインターフェイスを使ってエンジンを作成 - Cloud

Talend Remote Engine Gen2クイックスタートガイド

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
インストールとアップグレード
デプロイメント > デプロイ中 > パイプラインの実行
EnrichPlatform
Talend Management Console
Talend Pipeline Designer

始める前に

  • AWSリソースをインスタンス化するには、適切な権限を使用してAWSアカウントを作成し、ログイン済みであること。

  • ここからaws-cliパッケージをダウンロードし、インストール済みであること。

  • Amazon EC2コンソール[NETWORK & SECURITY] (ネットワークとセキュリティ) > [Key Pairs] (キーペア)ページで、AWSキーペアを作成済みであること。このキーペアは、Remote Engine Gen2スタックの作成先となるリージョンに保存することが必要です。

  • Talend Management Consoleから取得したペアキーをコピー済みであること。詳細は、Remote Engine Gen2の作成を参照してください。

  • ポート情報:Remote Engine Gen2アプリケーションはポート9005を使用します。ファイアウォールでこのポートでの接続が許可されていることを確認してください。

手順

  1. Amazon EC2コンソールで、[NETWORK & SECURITY] (ネットワークとセキュリティ) > [Security Groups] (セキュリティグループ)ページに移動します。
  2. [Create Security Group] (セキュリティグループの作成)をクリックし、セキュリティグループルールを以下のように定義します。
    • インバウンド: インバウンド接続は不要です。

      実際のところ、Remote Engine Gen2は、Talend Cloudに接続し直して実行するコマンドがないかリッスンするため、アウトバウンドルールのみを必要とするセキュアエンジンです。

    • アウトバウンド: デフォルト値のままにしておきます(フィルター処理は行われません)。

    • (オプション)インスタンスへのSSHアクセスを作成する可能性があります。

      詳細は、セキュリティグループに関するAmazonのドキュメンテーションを参照してください。

    注: セキュリティグループはRemote Engine Gen2スタックが作成されるリージョンに保存する必要があります。また、Talendリソースにアクセスできるよう、インターネットアクセスが可能になっていることも必要です。詳細は、サブネットに関するAmazonのドキュメンテーションを参照してください。
  3. セキュリティ[Group ID] (グループID)をクリップボードにコピーします。このIDはRemote Engine Gen2インスタンスへのアクセスに使用されます。
  4. VPC Dashboard[Subnets] (サブネット)ページに移動し、次のサブネットがあることを確認します。
    • Remote Engine Gen2スタックがデプロイされるVPCに属しているサブネット。
    • [Route Table] (ルートテーブル)タブでインターネットゲートウェイが設定されている。このゲートウェイは、Remote Engine Gen2Talend Cloudの間の通信を可能にしてエンジンのペアリングを有効にできます。
      ヒント: igw-で始まるターゲットが少なくとも1つあれば、VPCにはインターネットゲートウェイが含まれています。インターネットゲートウェイの詳細は、Amazonのドキュメンテーションを参照してください。
  5. [Subnet ID] (サブネットID)をクリップボードにコピーします。このIDはRemote Engine Gen2インスタンスへのアクセスに使用されます。
  6. aws cloudformation create-stackコマンドを使用してスタックを作成します。
    • 方法は2つあり、最初はパラメーターとその値をすべてコマンドに追加する方法です。
      aws cloudformation create-stack --stack-name my-remote-engine-gen2 \ 
      							--template-url https://s3.amazonaws.com/<REGION>-pub-devops-talend-com/ereclient-manifest/<ENDPOINT>/latest/ereclient.json \
      							--parameters ParameterKey=KeyName,ParameterValue=MyKey \
      							ParameterKey=InstanceType,ParameterValue=m4.xlarge \
      							ParameterKey=SecurityGroupIds,ParameterValue=mySecurityGroup \
      							ParameterKey=SubnetId,ParameterValue=mySubnetId \
      							ParameterKey=PreAuthorizedKey,ParameterValue=myPairKey \
      							ParameterKey=ReServerLocation,ParameterValue=eu

      ここでは値を環境に対応させる必要があります。テンプレートURLは次のようになります。

      https://s3.amazonaws.com/us-east-1-pub-devops-talend-com/ereclient-manifest/us/latest/ereclient.json (AWSアカウントが米国にある場合(米国のテンプレート))

      またはhttps://s3.amazonaws.com/us-east-1-pub-devops-talend-com/ereclient-manifest/eu/latest/ereclient.json (AWSアカウントが欧州にある場合(欧州のテンプレート))

      またはhttps://s3.amazonaws.com/us-east-1-pub-devops-talend-com/ereclient-manifest/ap/latest/ereclient.json (AWSアカウントがアジア太平洋にある場合(アジア太平洋のテンプレート))

    • または、上記の例と同じパラメーターを使用してJSONファイルを作成する方法です。
      [
      							{
      							"ParameterKey": "KeyName",
      							"ParameterValue": "MyKey"
      							}, 
      							{
      							"ParameterKey": "InstanceType",
      							"ParameterValue": "m4.xlarge"
      							},
      							{
      							"ParameterKey": "SecurityGroupIds",
      							"ParameterValue": "mySecurityGroup"
      							},
      							{
      							"ParameterKey": "SubnetId",
      							"ParameterValue": "mySubnetId"
      							},
      							{
      							"ParameterKey": "PreAuthorizedKey",
      							"ParameterValue": "myPairKey"
      							},
      							{
      							"ParameterKey": "ReServerLocation",
      							"ParameterValue": "<us|eu|ap>"
      							}  
      							]

      (ReServerLocationは、Remote Engine Gen2を作成するAmazonリージョンに応じてuseuapのいずれかを使用します)

      これは、aws cloudformation create-stackコマンドを使用する時に呼び出されます。
      aws cloudformation create-stack --stack-name my-remote-engine-gen2 \
      								--template-url https://s3.amazonaws.com/<REGION>-pub-devops-talend-com/ereclient-manifest/<ENDPOINT>/latest/ereclient.json \
      								--parameters file:///some/local/path/params/my-remote-engine-gen2-parameters.json

      ここでは値を環境に対応させる必要があります。テンプレートURLは次のようになります。

      https://s3.amazonaws.com/us-east-1-pub-devops-talend-com/ereclient-manifest/us/latest/ereclient.json (米国のテンプレート)

      またはhttps://s3.amazonaws.com/us-east-1-pub-devops-talend-com/ereclient-manifest/eu/latest/ereclient.json (欧州のテンプレート)

      またはhttps://s3.amazonaws.com/us-east-1-pub-devops-talend-com/ereclient-manifest/ap/latest/ereclient.json (アジア太平洋のテンプレート)

タスクの結果

これでRemote Engine Gen2インスタンスが作成され、実行中となります。

次のタスク

Talend Cloud Management Consoleに接続し、[ENGINES] (エンジン)ページに移動し、Remote Engine Gen2のステータスが[Not paired] (ペアリングなし)から[Paired] (ペアリング済み)に変わっていることを確認します。

注: エンジンのペアリング後は、Talend Cloud Pipeline Designerで使用できるようになるまで数分間かかることがあります。その間、このエンジンは利用不可と表示されます。
これでRemote Engine Gen2の準備が整い、以下の操作が可能となります。
  • Talend Cloud Management Consoleから実行プロファイルを作成する。

  • Remote Engine Gen2は、接続やデータセットを作成したり、Talend Cloudアプリでパイプラインやプレパレーションを実行するために使います。