tS3Copyの標準プロパティ - Cloud - 8.0

Amazon S3

Version
Cloud
8.0
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > Amazonサービス > Amazon S3
データガバナンス > サードパーティーシステム > Amazonサービス > Amazon S3
データクオリティとプレパレーション > サードパーティーシステム > Amazonサービス > Amazon S3

これらのプロパティは、標準のジョブフレームワークで実行されているtS3Copyを設定するために使われます。

標準tS3Copyコンポーネントは、Cloudファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのTalend製品で利用できます。

基本設定

[Use an existing connection] (既存の接続を使用)

定義済みの接続の詳細を再利用するには、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストで目的の接続コンポーネントを選択します。

[Access Key] (アクセスキー)

AWSアカウントを一意に識別するアクセスキーIDを指定します。アクセスキーとアクセスシークレットを取得する方法は、Getting Your AWS Access Keysをご覧ください。

[Secret Key] (シークレットキー)

シークレットアクセスキーを指定します。シークレットアクセスキーは、アクセスキーと組み合わせてセキュリティ認証情報を構成します。

シークレットキーを入力するには、シークレットキーフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにシークレットキーを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

[Credential Provider] (認証情報プロバイダー)

Static CredentialsInherit credentials from AWS roleWeb Identity TokenProfile credentials or inherit from AWS roleのいずれかのAWSセキュリティ認識情報を取得する方法を指定します。

  • Static Credentials: access keysecret keyをAWSセキュリティ認証情報として使用します。
  • Inherit credentials from AWS role: EMRインスタンスメタデータからAWSセキュリティ認証情報を取得します。このオプションを使用するには、Amazon EMRクラスターを開始する必要があり、このクラスターでジョブを実行する必要があります。詳細は、Using an IAM Role to Grant Permissions to Applications Running on Amazon EC2 Instancesをご覧ください。このオプションを使用すると、ジョブにAWSキーを配置せずにジョブを開発できるため、組織のセキュリティポリシーに簡単に準拠できます。
  • Web Identity Token: Amazon S3接続を確立するためにWebトークンを使用します。
  • Profile credentials or inherit from AWS role: ファイル(プロファイル設定ファイル)に保存されている認証情報をAWSセキュリティ認証情報として使うか、AWSロールからAWSセキュリティ認証情報を継承します。

    AWSセキュリティ認証情報は、プロファイル設定ファイルで、プロファイルにグルーピングできます。プロファイル設定ファイルには、1つ以上のプロファイルを含めます。オプションで、[Profile config file path] (プロファイル設定ファイルパス)フィールドでプロファイル設定ファイルを、[Profire name] (プロファイル名)フィールドで使用されるプロファイルを指定できます。

    [Profile config file path] (プロファイル設定ファイルパス)フィールドと[Profile name] (プロファイル名)フィールドが空のままである場合は、 <user folder>/.aws/credentialsプロファイル設定ファイルとして使われ、defaultという名前の付いたプロファイルが使われます。

    EC2インスタンスの場合は、プロファイル(特定またはデフォルトのプロファイル)が存在しないと、コンポーネントがAWSロールからセキュリティ認証情報を継承することを試行します。

注:
  • [Profile config file path] (プロファイル設定ファイルパス)フィールドと[Profile name] (プロファイル名)フィールドは、Profile credentials or inherit from AWS roleが選択されている場合に利用できます。
  • tRedshiftBulkExec、 tRedshiftOutputBulk、tRedshiftOutputBulkExecは、Static CredentialsまたはInherit credentials from AWS roleである[Credential Provider] (認証情報プロバイダー)で確立されたS3接続のみをサポートします。

[Assume Role] (ロールを引き受け)

AWS IAMロールに関連付けられており、自分のユーザーアカウントに付与されていないアクセス権限を一時的に必要とする場合は、このチェックボックスをオンにすればそのロールを引き受けることができます。その後、次のパラメーターの値を指定して、新しく引き受けたロールセッションを作成します。

[Region] (リージョン)

リストからリージョン名を選択するか、リスト内で二重引用符の間にリージョンを入力して("us-east-1"など)、AWSリージョンを指定します。AWSリージョンの詳細の詳細は、Regions and Endpointsをご覧ください。

[Source Bucket] (ソースバケット)

コピーするオブジェクトを含むソースバケットの名前を指定します。

[Source Key] (ソースキー)

コピーするオブジェクトへのパスを指定します。

警告: このフィールドの先頭にスラッシュ(/)を使わないでください。

[Destination Bucket] (コピー先バケット)

オブジェクトのコピー先となるバケットの名前を指定します。

[Destination Key] (コピー先キー)

宛先オブジェクトへのパスを指定します。パス内の別々のフォルダーを区別するにはスラッシュ(/)を使います。

例外処理:

  • このフィールドにファイル名のみを指定すると、ファイルはバケットに入ります。
  • 存在しないフォルダーがパスに含まれていると、そのフォルダーが作成されます。

  • ファイルが既に存在する場合は、上書きされます。

警告: このフィールドの先頭にスラッシュ(/)を使わないでください。
[Server-Side Encryption] (サーバー側の暗号化)

このチェックボックスをオンにして、Amazon S3-Managed Encryption Keys (SSE-S3)でサーバー側の暗号化を有効にして、256ビットのAdvanced Encryption Standard (AES-256)暗号を使用してデータを暗号化します。

サーバー側の暗号化については、[Protecting Data Using Server-Side Encryption] (サーバー側の暗号化を使ったデータの保護)をご覧ください。

[Use KMS] (KMSの使用)

Amazon S3-Managed Encryption Keys (SSE-S3)の代わりにAWS KMS-Managed Keys (SSE-KMS)を使用してサーバー側の暗号化を有効にするには、このチェックボックスをオンにします。

このプロパティは、[Server-Side Encryption] (サーバー側の暗号化)チェックボックスがオンになっている場合に利用できます。

[Customer Master Key] (顧客マスターキー)

SSE-KMS暗号化用にAWS Key Management Serviceを使用してIAMコンソール内に作成した自身の顧客マスターキー(CMK)を指定します。これを指定しない場合は、SSE-KMS暗号化オブジェクトをリージョン内の定義済みバケットに初めて追加した時に作成されたデフォルトCMKが、SSE-KMS暗号化に使用されます。

このプロパティは[Use KMS] (KMSの使用)チェックボックスがオンになっている場合に利用できます。

[Die on error] (エラー発生時に強制終了)

このチェックボックスをオンにすると、エラー発生時にジョブの実行が停止されます。

エラーの発生した行をスキップし、エラーが発生していない行の処理を完了するには、このチェックボックスをオフにします。

詳細設定

[Config client] (クライアント設定)

このチェックボックスをオンにし、[+]ボタンをクリックして、クライアントパラメーターごとに必要な行を追加し、各パラメーターに以下のフィールドの値を設定します:

  • [Client Parameter] (クライアントパラメーター): セルをクリックし、表示されたドロップダウンリストからクライアントパラメーターを選択します。

  • [Value] (値): 選択したパラメーターの値を入力します。

このチェックボックスは、[Use an existing connection] (既存の接続を使用)チェックボックスがオフになっている場合にのみ使用できます。

[STS Endpoint] (STSエンドポイント)

このチェックボックスをオンにして、表示されたフィールドで、セッション認証情報の取得先とするAWS Security Token Service(STS)のエンドポイントを指定します。たとえばsts.amazonaws.comと入力します。

このチェックボックスは、[Assume role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Signing region] (サインインリージョン)

STSサービスのAWSリージョンを選択します。リストにリージョンがない場合は、リージョン名を二重引用付きで入力します。デフォルト値はus-east-1です。

このドロップダウンリストは、[Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[External Id] (外部ID)

ロールの持ち主であるアカウントの管理者から外部IDを提供されている場合は、その値をここに入力します。[External Id] (外部ID)は、一定数のユーザーがロールを引き受けられるようにする一意の識別子です。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Serial number] (シリアル番号)

ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、ロールを引き受けるユーザーに関連付けられているハードウェアや仮想MFAデバイスの識別番号を指定する必要があります。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Token code] (トークンコード)

ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、トークンコードを指定する必要があります。このトークンコードは、MFAデバイスによって生成される時間ベースのワンタイムパスワードです。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Tags] (タグ)

キーと値のペアという形式でセッションタグをリスト表示します。ポリシーでこれらのセッションタグを使えば、リクエストへのアクセスを許可したり拒否したりできます。

[Transitive] (推移的): このチェックボックスをオンにすると、タグがロールチェーンの次のロールまで存続することが示されます。

タグの詳細は、 AWS STSでのセッションタグの受け渡しをご覧ください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[IAM Policy ARNs] (IAMポリシーARN)

マネージドセッションポリシーとして使うIAMマネージドポリシーのAmazon Resource Names(ARN)を入力します。マネージドセッションポリシーを使ってセッションの権限を制限します。このポリシーはロールと同じアカウントに存在することが必要です。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。

セッションポリシーの詳細は、ポリシーとアクセス許可で該当するセクションをご覧ください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Policy] (ポリシー)

セッションポリシーとして使うIAMポリシーをJSON形式で入力します。セッションポリシーを使ってセッションの権限を制限します。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。

セッションポリシーの詳細は、ポリシーとアクセス許可で該当するセクションをご覧ください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

マルチパートしきい値(MB)

マルチパートしきい値をMBで指定します。マルチパートしきい値より大きいサイズであれば、複数の部分に分割され、コピー先バケットにオブジェクトがコピーされます。

[Part size (Mb) for file larger than 5GB] (ファイルのパーツサイズ(Mb)が5GBより大きい)

パーツサイズをMB単位で指定します。このパラメーターは、5GBを超えるAmazon S3オブジェクトを複数のパーツにコピーする場合のみ有効になります。

コピー操作では、移行中にオブジェクトのメタデータが消えることがあります。

[Canned Access Control] (Cannedアクセス制御)

ドロップダウンリストからオプションを選択し、事前定義された権限を現在のリソースに与えます。Cannedアクセス制御については、Canned ACLをご覧ください。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数は、[Die on error] (エラー発生時に強制終了)チェックボックスがオンになっている場合のみ機能します。

使用方法

[Usage rule] (使用ルール)

このコンポーネントはスタンドアロンコンポーネントとして使用できます。