tS3Putの標準プロパティ - Cloud - 8.0

Amazon S3

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > Amazonサービス > Amazon S3
データガバナンス > サードパーティーシステム > Amazonサービス > Amazon S3
データクオリティとプレパレーション > サードパーティーシステム > Amazonサービス > Amazon S3
Last publication date
2024-02-22

これらのプロパティは、 標準のジョブのフレームワークで実行されているtS3Putを設定するために使われます。

標準tS3Putコンポーネントは、Cloudファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。

基本設定

[Use existing connection] (既存の接続を使用)

定義済みの接続の詳細を再利用する場合は、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。

[Credential Provider] (認証情報プロバイダー)

AWSのセキュリティ認証情報を取得する方法を指定します。

  • Static Credentials: access keysecret keyをAWSセキュリティ認証情報として使用します。
  • Inherit credentials from AWS role: EMRインスタンスメタデータからAWSセキュリティ認証情報を取得します。このオプションを使用するには、Amazon EMRクラスターを開始する必要があり、このクラスターでジョブを実行する必要があります。詳細は、Using an IAM Role to Grant Permissions to Applications Running on Amazon EC2 Instancesをご覧ください。このオプションを使用すると、ジョブにAWSキーを配置せずにジョブを開発できるため、組織のセキュリティポリシーに簡単に準拠できます。
  • Web Identity Token: Amazon S3接続を確立するためにWebトークンを使用します。
  • Profile credentials or inherit from AWS role: ファイル(プロファイル設定ファイル)に保存されている認証情報をAWSセキュリティ認証情報として使うか、AWSロールからAWSセキュリティ認証情報を継承します。

    AWSセキュリティ認証情報は、プロファイル設定ファイルで、プロファイルにグルーピングできます。プロファイル設定ファイルには、1つ以上のプロファイルを含めます。オプションで、[Profile config file path] (プロファイル設定ファイルパス)フィールドでプロファイル設定ファイルを、[Profire name] (プロファイル名)フィールドで使用されるプロファイルを指定できます。

    [Profile config file path] (プロファイル設定ファイルパス)フィールドと[Profile name] (プロファイル名)フィールドが空のままである場合は、 <user folder>/.aws/credentialsプロファイル設定ファイルとして使われ、defaultという名前の付いたプロファイルが使われます。

    EC2インスタンスの場合は、プロファイル(特定またはデフォルトのプロファイル)が存在しないと、コンポーネントがAWSロールからセキュリティ認証情報を継承することを試行します。

注:
  • [Profile config file path] (プロファイル設定ファイルパス)フィールドと[Profile name] (プロファイル名)フィールドは、Profile credentials or inherit from AWS roleが選択されている場合に利用できます。
  • tRedshiftBulkExec、 tRedshiftOutputBulk、tRedshiftOutputBulkExecは、Static CredentialsまたはInherit credentials from AWS roleである[Credential Provider] (認証情報プロバイダー)で確立されたS3接続のみをサポートします。

[Access Key] (アクセスキー)

AWSアカウントを一意に識別するアクセスキーID。詳細は、Managing access keys for IAM usersをご覧ください。

[Secret Key] (シークレットキー)

シークレットアクセスキーは、アクセスキーと合わせてセキュリティ認証情報を構成しています。

シークレットキーを入力するには、シークレットキーフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにシークレットキーを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

[Assume Role] (ロールを引き受け)

AWS IAMロールに関連付けられており、自分のユーザーアカウントに付与されていないアクセス権限を一時的に必要とする場合は、このチェックボックスをオンにすればそのロールを引き受けることができます。その後、次のパラメーターの値を指定して、新しく引き受けたロールセッションを作成します。

このロールに関連付けられている信頼ポリシーによって、自分のユーザーアカウントにそのロールへのアクセスが付与されていることをご確認ください。不明であれば、そのロールの所有者かAWS管理者にお問い合わせください。

  • [Role ARN] (ロールARN): 引き受けるロールのARN (Amazonリソース名)。このARN名は、AWSポータルで使用するロールの[Summary] (概要)ページで見つかります。このロールARNの形式は、たとえばam:aws:iam::[aws_account_number]:role/[role_name]となります。

    [Role session name] (ロールセッション名): 引き受けたロールセッションの一意識別に使用する名前を入力します。この名前には英字(大文字と小文字の両方)と数字を利用できますが、スペースを含めることはできません。また、アンダースコア( _ )の他、= , . @ - も利用できます。
  • [Session duration (minutes)] (セッション処理時間(分)): 引き受けたロールセッションをアクティブにする期間(分)。この期間をAWS管理者が設定した最大期間より長くすることはできません。値を指定しない場合、持続時間は3600秒がデフォルトとなります。

IAMロールと関連するポリシータイプの例については、AWSドキュメンテーションで[Create and Manage AWS IAM Roles] (AWS IAMロールの作成と管理)をご覧ください。

リージョン

リストからリージョン名を選択するか、リスト内で二重引用符の間にリージョンを入力して("us-east-1"など)、AWSリージョンを指定します。AWSリージョンの詳細の詳細は、Regions and Endpointsをご覧ください。

[Client-Side Encrypt] (クライアント側の暗号化)

このチェックボックスをオンにすると、[Key type] (キータイプ)ドロップダウンリストが表示されるので、Amazon S3への送信前にクライアント側でデータを暗号化するための3つのオプションのうちいずれか1つを選択します。詳細は、[Protecting Data Using Client-Side Encryption] (クライアント側暗号化を使用したデータの保護)をご覧ください。
  • [KMS-managed customer master key] (KMS管理顧客マスターキー): クライアント側のデータ暗号化にKMS管理顧客(CMK)マスターキーを使用します。[Key] (キー)フィールドには、AWS KMS顧客マスターキーID(CMK ID)を指定する必要があります。

  • [Symmetric Master Key] (対称マスターキー): クライアント側のデータ暗号化に対称マスターキー(256ビットAESシークレットキー)を使用します。

    • [Algorithm] (アルゴリズム): キーに関連付けられたアルゴリズムをリストから選択します。デフォルトでは、AESというアルゴリズム以外はありません。

    • [Encoding] (エンコーディング): キーに関連付けられたエンコーディングのタイプ、Base64またはX509のいずれかをリストから選択します。

    • [Key] (キー)または[Key file] (キーファイル): キーを保存するキーまたはファイルのパスを指定します。

  • [Asymmetric Master Key] (非対称マスターキー): クライアント側のデータ暗号化に非対称マスターキー(1024ビットRSAキーペア)を使用します。

    • [Algorithm] (アルゴリズム): キーに関連付けられたアルゴリズムをリストから選択します。デフォルトでは、RSAというアルゴリズム以外はありません。

    • [Public key file] (パブリックキーファイル): パブリックキーファイルのパスを指定します。

    • [Private key file] (プライベートキーファイル): プライベートキーファイルのパスを指定します。

[Bucket] (バケット)

S3サーバーのバケットの名前、すなわち、最上位フォルダーを指定します。

[Key] (キー)

S3サーバーにアップロードされるデータを保持するファイルへのパスを指定します。パス内の別々のフォルダーを区別するにはスラッシュ(/)を使います。

  • このフィールドにファイル名のみを指定すると、ファイルはバケットに入ります。
  • 存在しないフォルダーがパスに含まれていると、そのフォルダーが作成されます。

  • ファイルが既に存在する場合は上書きされます。

警告: このフィールドの先頭にスラッシュ(/)を使わないでください。

[File or Stream] (ファイルまたはストリーム)

アップロードするローカルファイルへのパス、またはデータのアップロード元となる入力ストリーム。

ストリームの使用方法の例は、『ストリーミングモードでのリモートファイルからのデータの読み取り』をご覧ください。

[Server-Side Encryption] (サーバー側の暗号化)

このチェックボックスをオンにして、Amazon S3-Managed Encryption Keys (SSE-S3)でサーバー側の暗号化を有効にして、256ビットのAdvanced Encryption 標準 (AES-256)暗号を使用してデータを暗号化します。

サーバー側の暗号化については、[Protecting Data Using Server-Side Encryption] (サーバー側の暗号化を使ったデータの保護)をご覧ください。

[Use KMS] (KMSの使用)

Amazon S3-Managed Encryption Keys (SSE-S3)の代わりにAWS KMS-Managed Keys (SSE-KMS)を使用してサーバー側の暗号化を有効にする場合は、このチェックボックスをオンにします。

これらのプロパティは、[Server-Side Encryption] (サーバー側の暗号化)チェックボックスがオンになっている場合に利用できます。

[Customer Master Key] (顧客マスターキー)

SSE-KMS暗号化用にAWS Key Management Serviceを使用してIAMコンソール内に作成した自身の顧客マスターキー(CMK)を指定します。これを指定しない場合は、SSE-KMS暗号化オブジェクトをリージョン内の定義済みバケットに初めて追加した時に作成されたデフォルトCMKが、SSE-KMS暗号化に使用されます。

これらのプロパティは、[Use KMS] (KMSの使用)チェックボックスがオンになっている場合に利用できます。

[Die on error] (エラー発生時に強制終了)

このチェックボックスをオンにすると、エラー時に行をスキップし、エラーの発生していない行の処理が完了されます。デフォルトでは選択されていません。

詳細設定

[Config client] (クライアント設定)

このチェックボックスをオンにすると、クライアントパラメーターを設定できます。

  • [Value] (値): クライアントパラメーター値を入力します。

  • [Client Parameter] (クライアントパラメーター): リストからクライアントパラメーターを選択します。

このチェックボックスは、[Basic settings] (基本設定)[Use an existing connection] (既存の接続を使用)が選択されている時は使用できません。

[STS Endpoint] (STSエンドポイント)

このチェックボックスをオンにして、表示されたフィールドで、セッション認証情報の取得先とするAWS Security Token Service(STS)のエンドポイントを指定します。たとえばsts.amazonaws.comと入力します。

このチェックボックスは、[Assume role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Signing region] (サインインリージョン)

STSサービスのAWSリージョンを選択します。リストにリージョンがない場合は、リージョン名を二重引用付きで入力します。デフォルト値はus-east-1です。

このドロップダウンリストは、[Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[External Id] (外部ID)

ロールの持ち主であるアカウントの管理者から外部IDを提供されている場合は、その値をここに入力します。[External Id] (外部ID)は、一定数のユーザーがロールを引き受けられるようにする一意の識別子です。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Serial number] (シリアル番号)

ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、ロールを引き受けるユーザーに関連付けられているハードウェアや仮想MFAデバイスの識別番号を指定する必要があります。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Token code] (トークンコード)

ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、トークンコードを指定する必要があります。このトークンコードは、MFAデバイスによって生成される時間ベースのワンタイムパスワードです。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Tags] (タグ)

キー-値ペアという形式でセッションタグをリスト表示します。ポリシーでこれらのセッションタグを使えば、リクエストへのアクセスを許可したり拒否したりできます。

[Transitive] (推移的): このチェックボックスをオンにすると、タグがロールチェーンの次のロールまで存続することが示されます。

タグの詳細は、 AWS STSでのセッションタグの受け渡しをご覧ください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[IAM Policy ARNs] (IAMポリシーARN)

マネージドセッションポリシーとして使うIAMマネージドポリシーのAmazon Resource Names(ARN)を入力します。マネージドセッションポリシーを使ってセッションの権限を制限します。このポリシーはロールと同じアカウントに存在することが必要です。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。

セッションポリシーの詳細は、ポリシーとアクセス許可で該当するセクションをご覧ください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Policy] (ポリシー)

セッションポリシーとして使うIAMポリシーをJSON形式で入力します。セッションポリシーを使ってセッションの権限を制限します。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。

セッションポリシーの詳細は、ポリシーとアクセス許可で該当するセクションをご覧ください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

マルチパートしきい値(MB)

マルチパートしきい値をMBで指定します。ファイルのサイズがマルチパートしきい値より大きい場合は、分割され、アップロードされます。ストリーミングモードの場合は、この設定は影響しません。

[Part size (Mb)] (パーツサイズ: Mb)

パーツにオブジェクトをアップロードする場合は、パーツサイズを(MB単位で)指定します。

パーツサイズの範囲は5MBから5GBです。値が5を下回っている場合は、パーツサイズが5MBのオブジェクトがアップロードされます。サイズが5GBを下回るオブジェクトの場合は、このオプションを大きな値に設定すれば、パーツに分割されずにアップロードされます。

S3マルチパートアップロードについては、「マルチパートアップロードの概要」をご覧ください。

[Enable Accelerate Mode] (加速モードを有効化)

このチェックボックスをオンにすると、クライアントとS3バケットの間の距離が長い場合でもファイルを高速、簡単また安全な転送できるようになります。選択する場合、事前にS3バケットでこの加速モードを有効にしておく必要があります。

このオプションはダイナミックパラメーターとして動作するほか、コンテキスト変数を使って値を割り当てることもできます。

[Access control] (アクセス制御)

このチェックボックスは、現行オブジェクトでアクセス制御リスト(ACL)を設定する時にオンにします。

[Access control] (アクセス制御)を選択した状態でAccessテーブルの下にある [+]ボタンをクリックし、新しい行を追加します。ここでは、次の方法でAWSユーザーアカウントを追加して権限を設定できます。
  • Account canonical ID / emailカラムに、ユーザーの正規ユーザーIDかメールアドレスを二重引用符で囲んで入力します。
  • バケット内のオブジェクトのデータやメタデータを読み取る権限を付与する場合は、[Read object] (オブジェクトの読み取り)カラムを選択します。
  • バケット内のオブジェクトのACL (アクセス制御リスト)を読み取る権限を付与する場合は、[Read object permissions] (オブジェクトの読み取り権限)カラムを選択します。
  • バケット内のオブジェクトのACL (アクセス制御リスト)に書き込む権限を付与する場合は、[Write object permissions] (オブジェクトの書き込み権限)カラムを選択します。
注:
  • Account canonical ID / emailカラム内の文字列に@が含まれている場合は、メールアドレスと見なされます。
  • [Access control] (アクセス制御)が選択されていない場合、オブジェクトをアップロードするユーザーがそのオブジェクトの所有者となり、そのオブジェクトに関する権限をすべて持つことになります。
  • [Access control] (アクセス制御)が選択されている場合、オブジェクトをアップロードするユーザーがそのオブジェクトの所有者となりますが、そのオブジェクトに関する権限は持ちません。所有者への権限の付与は、[Access] (アクセス)テーブルで上述の方法で行います。
  • AWSグループはサポートされていません。

[Canned Access Control] (Cannedアクセス制御)

ドロップダウンリストからオプションを選択し、事前定義された権限を現在のリソースに与えます。Cannedアクセス制御については、Canned ACLをご覧ください。

[Enable object lock] (オブジェクトロックを有効化)

このオプションを選択して、Amazon S3オブジェクトロック機能を有効化します。

このオプションが有効になっている状態で、[Retention mode] (保持モード)ドロップダウンリストから保持モード(GovernanceまたはCompliance)を選択し、[Retention period] (保持期間)フィールドで保持期間を設定する必要もあります。

Amazon S3オブジェクトロック機能、保持モード、保持期間に関する詳細は、Amazon S3オブジェクトロックを使ってデータを保護をご覧ください。

[Set object tags] (オブジェクトのタグを設定)

このチェックボックスを選択すると、オブジェクトタグをキー-値ペアの形式で設定できます。これらのタグは、S3オブジェクトを定義済みのバケットにアップロードする時に追加されます。詳細は、Categorizing your storage using tagsをご覧ください。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、コンポーネントレベルでログデータを収集できます。

グローバル変数

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数は、[Die on error] (エラー発生時に強制終了)チェックボックスがオンになっている場合のみ機能します。

使用方法

使用ルール

このコンポーネントは、tS3Connectionなどの他のS3コンポーネントで使用できます。

[Dynamic settings] (ダイナミック設定)

[+]ボタンをクリックしてテーブルに行を追加し、[Code] (コード)フィールドにコンテキスト変数を入力して、ジョブ内で計画した複数の接続からデータベース接続をダイナミックに選択します。この機能は、データストラクチャーが同じでデータベースが異なるデータベーステーブルにアクセスする必要がある場合、特に、Talend Studioを介さずにジョブをデプロイおよび実行する必要がある時など、ジョブの設定を変更できない環境で作業している場合に役立ちます。

ダイナミックパラメーターを定義すると、[Basic settings] (基本設定)ビューの[Component List] (コンポーネントリスト)ボックスは利用できなくなります。

ダイナミックパラメーターの定義法を示すユースケースについては、コンテキストベースのダイナミック接続によってデータベースからデータを読み取りと、ダイナミックにロードされた接続パラメーターを使って異なるMySQLデータベースからデータを読み取りをご覧ください。ダイナミック設定とコンテキスト変数の詳細は、ダイナミックスキーマコンテキストグループを作成し、その中でコンテキスト変数を定義をご覧ください。