tAmazonEMRManageの標準プロパティ - Cloud - 8.0

[Access key] (アクセスキー)および[Secret key] (シークレットキー)

Amazon Web Servicesへのアクセスに必要なアクセスキー([Access Key] (アクセスキー)フィールド内のアクセスキーIDおよび[Secret Key] (シークレットキー)フィールド内のシークレットアクセスキー)を指定します。AWSアクセスキーの詳細は、[Access keys (access key ID and secret access key)] (アクセスキー(アクセスキーIDとシークレットアクセスキー))をご覧ください。

シークレットキーを入力するには、シークレットキーフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにシークレットキーを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

[Inherit credentials from AWS role] (AWSロールから認証情報を継承)

インスタンスプロファイル認証情報を使用する場合は、このチェックボックスをオンにします。これらの認証情報はAmazon EC2インスタンスまたはAWS ECSで使用でき、Amazon EC2メタデータサービス経由で配信されます。このオプションを使用するには、ジョブがAmazon EC2内で、または、リソースへのアクセスにIAMロールを利用できるその他のサービス内で実行されている必要があります。詳細は、Using an IAM Role to Grant Permissions to Applications Running on Amazon EC2 Instancesをご覧ください。

[Assume role] (ロールを引き受け)

AWS IAMロールに関連付けられており、自分のユーザーアカウントに付与されていないアクセス権限を一時的に必要とする場合は、このチェックボックスをオンにすればそのロールを引き受けることができます。その後、次のパラメーターの値を指定して、新しく引き受けたロールセッションを作成します。

アクション

[Region] (リージョン)

リストからリージョン名を選択するか、二重引用符の間にリージョンを入力して("us-east-1"など)、AWSリージョンを指定します。AWSリージョンの指定方法は、[Choose an AWS Region] (AWSリージョンを選択する)をご覧ください。

[Cluster name] (クラスター名)

クラスターの名前を入力します。

[Cluster version] (クラスターバージョン)

クラスターのバージョンを選択します。

[Advanced settings] (詳細設定)ビューの[Customize Version and Application] (バージョンとアプリケーションのカスタマイズ)チェックボックスをオンにして、クラスターバージョン情報をカスタマイズすることもできます。

これらのプロパティは、[Customize Version and Application] (バージョンとアプリケーションのカスタマイズ)チェックボックスがオンの場合は利用できません。

アプリケーション

クラスターにインストールするアプリケーションを選択します。

[Advanced settings] (詳細設定)ビューの[Customize Version and Application] (バージョンとアプリケーションのカスタマイズ)チェックボックスをオンにして、アプリケーション情報をカスタマイズすることもできます。

これらのプロパティは、[Cluster version] (クラスターバージョン)リストでEMRバージョンが選択され、[Customize Version and Application] (バージョンとアプリケーションのカスタマイズ)チェックボックスがオフの場合に利用できます。

[Service role] (サービスロール)

Amazon EMRサービスにIAM (Identity and Access Management)ロールを入力します。デフォルトのロールはEMR_DefaultRoleです。このデフォルトのロールを使うには、作成済みである必要があります。

[Job flow role] (ジョブフローロール)

Amazon EMRが管理するEC2インスタンスにIAMロールを入力します。デフォルトのロールはEMR_EC2_DefaultRoleです。このデフォルトのロールを使うには、作成済みである必要があります。

[Enable log] (ログを有効化)

このチェックボックスをオンにしてロギングを有効にし、表示されるフィールドで、Amazon EMRがログデータを書き込むS3バケット内のフォルダーへのパスを指定します。

[Use EC2 key pair] (EC2キーペアの使用)

このチェックボックスをオンにしてAmazon EC2 (Elastic Compute Cloud)キーペアをクラスターに関連付け、表示されたフィールドにEC2キーペアの名前を入力します。

述語

このリストは、[Action] (アクション)リストで[Stop] (停止)が選択されている場合のみ利用できます。

[Instance count] (インスタンス数)

初期化するAmazon EC2インスタンスの数を入力します。

このフィールドは、[Basic settings] (基本設定)ビューの[Action] (アクション)ドロップダウンリストから[Start] (開始)を選択し、[Use multiple master nodes] (複数のマスターノードを使う)チェックボックスがオフになっている場合のみ利用できます。

[Slave instance count] (スレーブインスタンス数)

初期化するAmazon EC2スレーブインスタンスの数を入力します。

このフィールドは、[Basic settings] (基本設定)ビューの[Action] (アクション)ドロップダウンリストから[Start] (開始)を選択し、[Advanced settings] (詳細設定)ビューで[Use multiple master nodes] (複数のマスターノードを使う)チェックボックスをオンにした場合のみ利用できます。

[Master instance type] (マスターインスタンスタイプ)

初期化するマスターインスタンスのタイプを選択します。

[Slave instance type] (スレーブインスタンスタイプ)

初期化するスレーブインスタンスのタイプを選択します。

[STS Endpoint] (STSエンドポイント)

このチェックボックスをオンにして、表示されたフィールドで、セッション認証情報の取得先とするAWS Security Token Service(STS)のエンドポイントを指定します。たとえばsts.amazonaws.comと入力します。

このチェックボックスは、[Assume role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

STSサービスのAWSリージョンを選択します。リストにリージョンがない場合は、リージョン名を二重引用付きで入力します。デフォルト値はus-east-1です。

このドロップダウンリストは、[Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

ロールの持ち主であるアカウントの管理者から外部IDを提供されている場合は、その値をここに入力します。[External Id] (外部ID)は、一定数のユーザーがロールを引き受けられるようにする一意の識別子です。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、ロールを引き受けるユーザーに関連付けられているハードウェアや仮想MFAデバイスの識別番号を指定する必要があります。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、トークンコードを指定する必要があります。このトークンコードは、MFAデバイスによって生成される時間ベースのワンタイムパスワードです。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

キー-値ペアという形式でセッションタグをリスト表示します。ポリシーでこれらのセッションタグを使えば、リクエストへのアクセスを許可したり拒否したりできます。

[Transitive] (推移的): このチェックボックスをオンにすると、タグがロールチェーンの次のロールまで存続することが示されます。

タグの詳細は、 AWS STSでのセッションタグの受け渡しをご覧ください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

マネージドセッションポリシーとして使うIAMマネージドポリシーのAmazon Resource Names(ARN)を入力します。マネージドセッションポリシーを使ってセッションの権限を制限します。このポリシーはロールと同じアカウントに存在することが必要です。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。

セッションポリシーの詳細は、ポリシーとアクセス許可で該当するセクションをご覧ください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

セッションポリシーとして使うIAMポリシーをJSON形式で入力します。セッションポリシーを使ってセッションの権限を制限します。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。

セッションポリシーの詳細は、ポリシーとアクセス許可で該当するセクションをご覧ください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Wait for cluster ready] (クラスターの準備ができるまで待機)

このチェックボックスをオンにして、クラスターの起動が完了するまでジョブを待機させます。

[Visible to all users] (すべてのユーザーが参照可能)

このチェックボックスをオンにすると、クラスターがすべてのIAMユーザーに表示されます。

[Termination Protect] (終了保護)

このチェックボックスをオンにすると、終了の保護が有効になり、処理中のエラーや問題が原因でクラスター内のインスタンスがシャットダウンすることを防げます。

[Enable debug] (デバッグの有効化)

デバッグモードを有効にするには、このチェックボックスをオンにします。

クラスターのバージョンとクラスターにインストールするアプリケーションをカスタマイズするには、このチェックボックスをオンにします。

• [Cluster version] (クラスターバージョン): クラスターのバージョンを入力します。

• [Applications] (アプリケーション): テーブルの下にある[+]ボタンをクリックしてアプリケーションの行(1つのアプリケーションに1行)を必要なだけ追加し、セルの右側をクリックして表示されるドロップダウンリストからアプリケーションを選択するか、リストにない場合はセル内にアプリケーション名を単に入力して、アプリケーションを指定します。

[Use multiple master nodes] (複数のマスターノードを使う)

[Subnet id] (サブネットID)

ジョブフローを起動したいAmazon VPC (Virtual Private Cloud)サブネットの識別子を指定します。

[Availability zone] (アベイラビリティーゾーン)

クラスターのEC2インスタンスのアベイラビリティーゾーンを指定します。

[Master security group] (マスターセキュリティグループ)

マスターインスタンスのセキュリティグループを指定します。

[Additional master security groups] (追加のマスターセキュリティグループ)

マスターインスタンスの追加のセキュリティグループを指定し、それらをコンマで区切ります(例: gname1, gname2, gname3)。

[Slave security group] (スレーブセキュリティグループ)

スレーブインスタンスのセキュリティグループを指定します。

[Additional slave security groups] (追加のスレーブセキュリティグループ)

スレーブインスタンスの追加のセキュリティグループを指定し、それらをコンマで区切ります(例: gname1, gname2, gname3)。

Amazon EMRサービスがVPCプライベートサブネットのクラスターにアクセスするためのAmazon EC2セキュリティグループの識別子を指定します。

Amazon EMRでサービスアクセスセキュリティグループを有効にするプライベートサブネットを作成する方法は、シナリオ2: パブリックサブネットとプライベートサブネットを持つ VPC (NAT)をご覧ください。

アクション

クラスターに関連付けられているブートストラップアクションを指定するには、テーブルの下にある[+]ボタンをクリックして、必要な数の行(ブートストラップアクション1つに1行)を追加し、各アクションに次のパラメーターを設定するために使われます。

• [Name] (名前): ブートストラップアクションの名前を入力します。

• [Script location] (スクリプトの場所): ブートストラップアクションによって実行されるスクリプトの場所を指定します。例: s3://ap-northeast-1.elasticmapreduce/bootstrap-actions/run-if。

• [Arguments] (引数): "arg0","arg1","arg2"のように、ブートストラップアクションスクリプトに渡されるコマンドライン引数(コンマで区切る)のリストを入力します。

ブートストラップアクションの詳細は、BootstrapActionConfigをご覧ください。

ステップ

テーブルの下にある[+]ボタンをクリックし、行を必要な数だけ(1つのステップに1行)を追加して、各ステップの以下のパラメーターを設定すると、起動後にクラスターで呼び出されるジョブフローステップを指定します。

• [Name] (名前): ジョブフローステップの名前を入力します。

• [Action on Failure] (失敗時のアクション): セルをクリックし、ドロップダウンリストから、ジョブフローステップが失敗した場合に実行するアクションを選択します。

• [Main Class] (メインクラス): 指定したJavaファイルにメインクラスの名前を入力します。指定されていない場合、JARファイルはそのマニフェストファイルにメインクラスを指定する必要があります。

• Jar: ステップ注に実行されるJARファイルへのパスを入力します。例: "s3://inputjar/test.jar"。

• Args: 実行時にJARファイルのmainファンクションに渡されるコマンドライン引数のリスト(コンマで区切る)を入力します。例: "arg0","arg1","arg2"。

ジョブフローステップの詳細は、StepConfigをご覧ください。

[Keep alive after steps complete] (手順完了後も存続)

すべての手順を完了した後もジョブフローを存続させるには、このチェックボックスをオンにします。

[Wait for steps to complete] (ステップの完了まで待機)

このチェックボックスを選択して、ジョブフローステップが完了するまでジョブを待機させます。

このチェックボックスは、[Wait for cluster ready] (クラスターの準備ができるまで待機)チェックボックスがオンの場合のみ利用できます。

[Properties] (プロパティ)

作成するEMRクラスターの設定オブジェクトに提供される分類とプロパティ情報を指定するには、テーブルの下の[+]ボタンをクリックして、必要な数の行を追加し、プロパティの各行を追加して、次のパラメーターを設定するために使われます。

• [Classification] (分類): 設定の分類を指定します。

• [Key] (キー): プロパティのキーを入力します。

• [Value] (値): プロパティの値を入力します。

このフィールドは、[Basic settings] (基本設定)ビューの[Action] (アクション)ドロップダウンリストから[Start] (開始)を選択し、[Use multiple master nodes] (複数のマスターノードを使う)チェックボックスがオフになっている場合のみ利用できます。

[Properties in JSON] (JSONのプロパティ)

作成するEMRクラスターの設定オブジェクトに提供する分類とプロパティの情報をJSON形式で入力します。

このフィールドは、[Basic settings] (基本設定)ビューの[Action] (アクション)ドロップダウンリストから[Start] (開始)を選択し、[Advanced settings] (詳細設定)ビューで[Use multiple master nodes] (複数のマスターノードを使う)チェックボックスをオンにした場合のみ利用できます。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

クラスターのID。これはAfter変数で、文字列を返します。

クラスターの名前。これはAfter変数で、文字列を返します。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

使用ルール

tAmazonEMRManageは通常、スタンドアロンコンポーネントとして使われます。