tAmazonEMRManage標準プロパティ - Cloud - 8.0

Amazon EMR

Version
Cloud
8.0
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > Amazonサービス > Amazon EMR
データガバナンス > サードパーティーシステム > Amazonサービス > Amazon EMR
データクオリティとプレパレーション > サードパーティーシステム > Amazonサービス > Amazon EMR

このプロパティはStandardジョブフレームワークで実行されているtAmazonEMRManageを設定するために使います。

[Standard] (標準) tAmazonEMRManageコンポーネントは、Cloudファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。

基本設定

[Access key] (アクセスキー)および[Secret key] (シークレットキー)

Amazon Web Servicesへのアクセスに必要なアクセスキー([Access Key] (アクセスキー)フィールド内のアクセスキーIDおよび[Secret Key] (シークレットキー)フィールド内のシークレットアクセスキー)を指定します。AWSアクセスキーの詳細は、[Access keys (access key ID and secret access key)] (アクセスキー(アクセスキーIDとシークレットアクセスキー))を参照してください。

シークレットキーを入力するには、シークレットキーフィールドの横の[...]ボタンをクリックし、ポップアップダイアログボックスにシークレットキーを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

[Inherit credentials from AWS role] (AWSロールから認証情報を継承)

インスタンスプロファイル認証情報を使用するには、このチェックボックスをオンにします。これらの認証情報はAmazon EC2インスタンスまたはAWS ECSで使用でき、Amazon EC2メタデータサービス経由で配信されます。このオプションを使用するには、ジョブがAmazon EC2内で、または、リソースへのアクセスにIAMロールを使用できるその他のサービス内で実行されている必要があります。詳細は、[Using an IAM Role to Grant Permissions to Applications Running on Amazon EC2 Instances] (IAMロールを使ってAmazon EC2インスタンスで実行されているアプリケーションにアクセス権限を付与する)を参照してください。

[Assume role] (ロールを引き受け)

AWS IAMロールに関連付けられており、自分のユーザーアカウントに付与されていないアクセス権限を一時的に必要とする場合は、このチェックボックスをオンにすればそのロールを引き受けることができます。その後、次のパラメーターの値を指定して、新しく引き受けたロールセッションを作成します。

アクション

実行するアクション([Start] (開始)または[Stop] (停止))をリストから選択します。
  • [Start] (開始): Amazon EMRクラスターを起動します。

  • [Stop] (停止):Amazon EMRクラスターを終了します。

[Region] (リージョン)

リストからリージョン名を選択するか、二重引用符の間にリージョンを入力して("us-east-1"など)、AWSリージョンを指定します。AWSリージョンの指定方法の詳細は、[Choose an AWS Region] (AWSリージョンを選択する)を参照してください。

[Cluster name] (クラスター名)

クラスターの名前を入力します。

[Cluster version] (クラスターバージョン)

クラスターのバージョンを選択します。

[Advanced settings] (詳細設定)ビューの[Customize Version and Application] (バージョンとアプリケーションのカスタマイズ)チェックボックスをオンにして、クラスターバージョン情報をカスタマイズすることもできます。

このプロパティは、[Customize Version and Application] (バージョンとアプリケーションのカスタマイズ)チェックボックスがオンの場合は利用できません。

アプリケーション

クラスターにインストールするアプリケーションを選択します。

[Advanced settings] (詳細設定)ビューの[Customize Version and Application] (バージョンとアプリケーションのカスタマイズ)チェックボックスをオンにして、アプリケーション情報をカスタマイズすることもできます。

このプロパティは、[Cluster version] (クラスターバージョン)リストでEMRバージョンが選択され、[Customize Version and Application] (バージョンとアプリケーションのカスタマイズ)チェックボックスがオフの場合に利用できます。

[Service role] (サービスロール)

Amazon EMRサービスにIAM (Identity and Access Management)ロールを入力します。デフォルトのロールはEMR_DefaultRoleです。このデフォルトのロールを使うには、作成済みである必要があります。

[Job flow role] (ジョブフローロール)

Amazon EMRが管理するEC2インスタンスにIAMロールを入力します。デフォルトのロールはEMR_EC2_DefaultRoleです。このデフォルトのロールを使うには、作成済みである必要があります。

[Enable log] (ログを有効化)

このチェックボックスをオンにしてロギングを有効にし、表示されるフィールドで、Amazon EMRがログデータを書き込むS3バケット内のフォルダーへのパスを指定します。

[Use EC2 key pair] (EC2キーペアの使用)

このチェックボックスをオンにしてAmazon EC2 (Elastic Compute Cloud)キーペアをクラスターに関連付け、表示されたフィールドにEC2キーペアの名前を入力します。

述語

停止するクラスターを指定します。
  • [All running clusters] (実行中のすべてのクラスター): 実行中のすべてのクラスターが停止します。

  • [All running clusters with predefined name] (事前定義済みの名前で実行中のすべてのクラスター): 指定された名前で実行中のクラスターが停止します。[Cluster name] (クラスター名)フィールドで、停止するクラスターの名前を指定する必要があります。

  • [Running cluster with predefined id] (事前定義済みのIDで実行中のクラスター): 指定されたIDで実行中のクラスターが停止します。[Cluster id] (クラスターID)フィールドで、停止するクラスターのIDを指定する必要があります。

このリストは、[Action] (アクション)リストで[Stop] (停止)が選択されている場合にのみ利用できます。

[Instance count] (インスタンス数)

初期化するAmazon EC2インスタンスの数を入力します。

このフィールドは、[Basic settings] (基本設定)ビューの[Action] (アクション)ドロップダウンリストから[Start] (開始)を選択し、[Use multiple master nodes] (複数のマスターノードを使う)チェックボックスがオフになっている場合にのみ利用できます。

[Slave instance count] (スレーブインスタンス数)

初期化するAmazon EC2スレーブインスタンスの数を入力します。

このフィールドは、[Basic settings] (基本設定)ビューの[Action] (アクション)ドロップダウンリストから[Start] (開始)を選択し、[Advanced settings] (詳細設定)ビューで[Use multiple master nodes] (複数のマスターノードを使う)チェックボックスをオンにした場合にのみ利用できます。

[Master instance type] (マスターインスタンスタイプ)

初期化するマスターインスタンスのタイプを選択します。

[Slave instance type] (スレーブインスタンスタイプ)

初期化するスレーブインスタンスのタイプを選択します。

詳細設定

[STS Endpoint] (STSエンドポイント)

このチェックボックスをオンにして、表示されたフィールドで、セッション認証情報の取得先とするAWS Security Token Service(STS)のエンドポイントを指定します。たとえばsts.amazonaws.comと入力します。

このチェックボックスは、[Assume role] (ロールを引き受け)チェックボックスが選択されている場合にのみ使用できます。

[Signing region] (サインインリージョン)

STSサービスのAWSリージョンを選択します。リストにリージョンがない場合は、リージョン名を二重引用付きで入力します。デフォルト値はus-east-1です。

このドロップダウンリストは、[Assume Role] (ロールを引き受け)チェックボックスがオンの場合にのみ利用できます。

External Id (外部ID)

ロールの持ち主であるアカウントの管理者から外部IDを提供されている場合は、その値をここに入力します。[External Id] (外部ID)は、一定数のユーザーがロールを引き受けられるようにする一意の識別子です。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンの場合にのみ利用できます。

[Serial number] (シリアル番号)

ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、ロールを引き受けるユーザーに関連付けられているハードウェアや仮想MFAデバイスの識別番号を指定する必要があります。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンの場合にのみ利用できます。

[Token code] (トークンコード)

ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、トークンコードを指定する必要があります。このトークンコードは、MFAデバイスによって生成される時間ベースのワンタイムパスワードです。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンの場合にのみ利用できます。

[Tags] (タグ)

キーと値のペアという形式でセッションタグをリスト表示します。ポリシーでこれらのセッションタグを使えば、リクエストへのアクセスを許可したり拒否したりできます。

[Transitive] (推移的): このチェックボックスをオンにすると、タグがロールチェーンの次のロールまで存続することが示されます。

タグの詳細は、 AWS STSでのセッションタグの受け渡しを参照してください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンの場合にのみ利用できます。

IAM Policy ARNs (IAMポリシーARN)

マネージドセッションポリシーとして使うIAMマネージドポリシーのAmazon Resource Names(ARN)を入力します。マネージドセッションポリシーを使ってセッションの権限を制限します。このポリシーはロールと同じアカウントに存在することが必要です。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。

セッションポリシーの詳細は、ポリシーとアクセス許可で該当するセクションを参照してください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンの場合にのみ利用できます。

[Policy] (ポリシー)

セッションポリシーとして使うIAMポリシーをJSON形式で入力します。セッションポリシーを使ってセッションの権限を制限します。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。

セッションポリシーの詳細は、ポリシーとアクセス許可で該当するセクションを参照してください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンの場合にのみ利用できます。

クラスターの準備ができるまで待機

このチェックボックスをオンにして、クラスターの起動が完了するまでジョブを待機させます。

[Visible to all users] (すべてのユーザーが参照可能)

このチェックボックスをオンにすると、クラスターがすべてのIAMユーザーに表示されます。

[Termination Protect] (終了保護)

このチェックボックスをオンにすると、終了の保護が有効になり、処理中のエラーや問題が原因でクラスター内のインスタンスがシャットダウンすることを防げます。

[Enable debug] (デバッグの有効化)

デバッグモードを有効にするには、このチェックボックスをオンにします。

[Customize Version and Application] (バージョンとアプリケーションのカスタマイズ)

クラスターのバージョンとクラスターにインストールするアプリケーションをカスタマイズするには、このチェックボックスをオンにします。

  • [Cluster version] (クラスターバージョン): クラスターのバージョンを入力します。

  • [Applications] (アプリケーション): テーブルの下にある[+]ボタンをクリックしてアプリケーションの行(1つのアプリケーションに1行)を必要なだけ追加し、セルの右側をクリックして表示されるドロップダウンリストからアプリケーションを選択するか、リストにない場合はセル内にアプリケーション名を単に入力して、アプリケーションを指定します。

[Use multiple master nodes] (複数のマスターノードを使う)

バージョン5.23以降のAmazon EMRディストリビューションを使い、高可用性を有効にして複数のマスターノードでクラスターを起動するには、このチェックボックスをオンにします。
重要: このチェックボックスをオンにする場合は、[Subnet id] (サブネットID)フィールドでAmazon VPCサブネットの識別子を指定する必要があります。

[Subnet id] (サブネットID)

ジョブフローを起動したいAmazon VPC (Virtual Private Cloud)サブネットの識別子を指定します。

[Availability zone] (アベイラビリティーゾーン)

クラスターのEC2インスタンスのアベイラビリティーゾーンを指定します。

[Master security group] (マスターセキュリティグループ)

マスターインスタンスのセキュリティグループを指定します。

[Additional master security groups] (追加のマスターセキュリティグループ)

マスターインスタンスの追加のセキュリティグループを指定し、それらをコンマで区切ります(例: gname1, gname2, gname3)。

[Slave security group] (スレーブセキュリティグループ)

スレーブインスタンスのセキュリティグループを指定します。

[Additional slave security groups] (追加のスレーブセキュリティグループ)

スレーブインスタンスの追加のセキュリティグループを指定し、それらをコンマで区切ります(例: gname1, gname2, gname3)。

[Service Access Security Group] (サービスアクセスセキュリティグループ)

Amazon EMRサービスがVPCプライベートサブネットのクラスターにアクセスするためのAmazon EC2セキュリティグループの識別子を指定します。

Amazon EMRでサービスアクセスセキュリティグループを有効にするプライベートサブネットを作成する方法については、シナリオ2: パブリックサブネットとプライベートサブネットを持つ VPC (NAT)を参照してください。

アクション

クラスターに関連付けられているブートストラップアクションを指定するには、テーブルの下にある[+]ボタンをクリックして、必要な数の行(ブートストラップアクション1つに1行)を追加し、各アクションに次のパラメーターを設定します。

  • [Name] (名前): ブートストラップアクションの名前を入力します。

  • [Script location] (スクリプトの場所): ブートストラップアクションによって実行されるスクリプトの場所を指定します。例: s3://ap-northeast-1.elasticmapreduce/bootstrap-actions/run-if

  • [Arguments] (引数): "arg0","arg1","arg2"のように、ブートストラップアクションスクリプトに渡されるコマンドライン引数(コンマで区切る)のリストを入力します。

ブートストラップアクションの詳細は、BootstrapActionConfigを参照してください。

ステップ

テーブルの下にある[+]ボタンをクリックし、行を必要な数だけ(1つのステップに1行)を追加して、各ステップの以下のパラメーターを設定すると、起動後にクラスターで呼び出されるジョブフローステップを指定します。

  • [Name] (名前): ジョブフローステップの名前を入力します。

  • [Action on Failure] (失敗時のアクション): セルをクリックし、ドロップダウンリストから、ジョブフローステップが失敗した場合に実行するアクションを選択します。

  • [Main Class] (メインクラス): 指定したJavaファイルにメインクラスの名前を入力します。指定されていない場合、JARファイルはそのマニフェストファイルにメインクラスを指定する必要があります。

  • Jar: ステップ注に実行されるJARファイルへのパスを入力します。例: "s3://inputjar/test.jar"

  • Args: 実行時にJARファイルのmain関数に渡されるコマンドライン引数のリスト(コンマで区切る)を入力します。例: "arg0","arg1","arg2"

ジョブフローステップの詳細は、StepConfigをご覧ください。

[Keep alive after steps complete] (手順完了後も存続)

すべての手順を完了した後もジョブフローを存続させるには、このチェックボックスをオンにします。

[Wait for steps to complete] (ステップの完了まで待機)

このチェックボックスを選択して、ジョブフローステップが完了するまでジョブを待機させます。

このチェックボックスは、[Wait for cluster ready] (クラスターの準備ができるまで待機)チェックボックスがオンの場合にのみ利用できます。

[Properties] (プロパティ)

作成するEMRクラスターの設定オブジェクトに提供される分類とプロパティ情報を指定するには、テーブルの下の[+]ボタンをクリックして、必要な数の行を追加し、プロパティの各行を追加して、次のパラメーターを設定します。

  • [Classification] (分類): 設定の分類を指定します。

  • [Key] (キー): プロパティのキーを入力します。

  • [Value] (値): プロパティの値を入力します。

このフィールドは、[Basic settings] (基本設定)ビューの[Action] (アクション)ドロップダウンリストから[Start] (開始)を選択し、[Use multiple master nodes] (複数のマスターノードを使う)チェックボックスがオフになっている場合にのみ利用できます。

[Properties in JSON] (JSONのプロパティ)

作成するEMRクラスターの設定オブジェクトに提供する分類とプロパティの情報をJSON形式で入力します。

このフィールドは、[Basic settings] (基本設定)ビューの[Action] (アクション)ドロップダウンリストから[Start] (開始)を選択し、[Advanced settings] (詳細設定)ビューで[Use multiple master nodes] (複数のマスターノードを使う)チェックボックスをオンにした場合にのみ利用できます。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

Global Variables

CLUSTER_FINAL_ID

クラスターのID。これはAfter変数で、文字列を返します。

CLUSTER_FINAL_NAME

クラスターの名前。これはAfter変数で、文字列を返します。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

使用方法

使用ルール

tAmazonEMRManageは通常、スタンドアロンコンポーネントとして使われます。