tS3Putの標準プロパティ - Cloud - 8.0

Amazon S3

Version
Cloud
8.0
Language
日本語
Product
https://talend.poolparty.biz/coretaxonomy/16
https://talend.poolparty.biz/coretaxonomy/17
https://talend.poolparty.biz/coretaxonomy/18
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > Amazonサービス > Amazon S3
データガバナンス > サードパーティーシステム > Amazonサービス > Amazon S3
データクオリティとプレパレーション > サードパーティーシステム > Amazonサービス > Amazon S3
Last publication date
2024-04-15

これらのプロパティは、 標準のジョブフレームワークで実行されているtS3Putを設定するために使われます。

標準tS3Putコンポーネントは、Cloudファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのTalend製品で利用できます。

基本設定

[Use existing connection] (既存の接続を使用)

定義済みの接続の詳細を再利用するには、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストで目的の接続コンポーネントを選択します。

[Access Key] (アクセスキー)

AWSアカウントを一意に識別するアクセスキーID。アクセスキーとアクセスシークレットを取得する方法は、Getting Your AWS Access Keysをご覧ください。

[Secret Key] (シークレットキー)

シークレットアクセスキーは、アクセスキーと合わせてセキュリティ認証情報を構成しています。

シークレットキーを入力するには、シークレットキーフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにシークレットキーを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

[Credential Provider] (認証情報プロバイダー)

Static CredentialsInherit credentials from AWS roleWeb Identity TokenProfile credentials or inherit from AWS roleのいずれかのAWSセキュリティ認識情報を取得する方法を指定します。

  • Static Credentials: access keysecret keyをAWSセキュリティ認証情報として使用します。
  • Inherit credentials from AWS role: EMRインスタンスメタデータからAWSセキュリティ認証情報を取得します。このオプションを使用するには、Amazon EMRクラスターを開始する必要があり、このクラスターでジョブを実行する必要があります。詳細は、Using an IAM Role to Grant Permissions to Applications Running on Amazon EC2 Instancesをご覧ください。このオプションを使用すると、ジョブにAWSキーを配置せずにジョブを開発できるため、組織のセキュリティポリシーに簡単に準拠できます。
  • Web Identity Token: Amazon S3接続を確立するためにWebトークンを使用します。
  • Profile credentials or inherit from AWS role: ファイル(プロファイル設定ファイル)に保存されている認証情報をAWSセキュリティ認証情報として使うか、AWSロールからAWSセキュリティ認証情報を継承します。

    AWSセキュリティ認証情報は、プロファイル設定ファイルで、プロファイルにグルーピングできます。プロファイル設定ファイルには、1つ以上のプロファイルを含めます。オプションで、[Profile config file path] (プロファイル設定ファイルパス)フィールドでプロファイル設定ファイルを、[Profire name] (プロファイル名)フィールドで使用されるプロファイルを指定できます。

    [Profile config file path] (プロファイル設定ファイルパス)フィールドと[Profile name] (プロファイル名)フィールドが空のままである場合は、 <user folder>/.aws/credentialsプロファイル設定ファイルとして使われ、defaultという名前の付いたプロファイルが使われます。

    EC2インスタンスの場合は、プロファイル(特定またはデフォルトのプロファイル)が存在しないと、コンポーネントがAWSロールからセキュリティ認証情報を継承することを試行します。

注:
  • [Profile config file path] (プロファイル設定ファイルパス)フィールドと[Profile name] (プロファイル名)フィールドは、Profile credentials or inherit from AWS roleが選択されている場合に利用できます。
  • tRedshiftBulkExec、 tRedshiftOutputBulk、tRedshiftOutputBulkExecは、Static CredentialsまたはInherit credentials from AWS roleである[Credential Provider] (認証情報プロバイダー)で確立されたS3接続のみをサポートします。

[Assume Role] (ロールを引き受け)

AWS IAMロールに関連付けられており、自分のユーザーアカウントに付与されていないアクセス権限を一時的に必要とする場合は、このチェックボックスをオンにすればそのロールを引き受けることができます。その後、次のパラメーターの値を指定して、新しく引き受けたロールセッションを作成します。

[Region] (リージョン)

リストからリージョン名を選択するか、リスト内で二重引用符の間にリージョンを入力して("us-east-1"など)、AWSリージョンを指定します。AWSリージョンの詳細の詳細は、Regions and Endpointsをご覧ください。

[Encrypt] (暗号化)

このチェックボックスをオンにすると、[Key type] (キータイプ)ドロップダウンリストが表示されるので、Amazon S3への送信前にクライアント側でデータを暗号化するための3つのオプションのうちいずれか1つを選択します。詳細は、[Protecting Data Using Client-Side Encryption] (クライアント側暗号化を使用したデータの保護)をご覧ください。
  • [KMS-managed customer master key] (KMS管理顧客マスターキー): クライアント側のデータ暗号化にKMS管理顧客(CMK)マスターキーを使用します。[Key] (キー)フィールドには、AWS KMS顧客マスターキーID(CMK ID)を指定する必要があります。

  • [Symmetric Master Key] (対称マスターキー): クライアント側のデータ暗号化に対称マスターキー(256ビットAESシークレットキー)を使用します。

    • [Algorithm] (アルゴリズム): キーに関連付けられたアルゴリズムをリストから選択します。デフォルトでは、AESというアルゴリズム以外はありません。

    • [Encoding] (エンコーディング): キーに関連付けられたエンコーディングのタイプ、Base64またはX509のいずれかをリストから選択します。

    • [Key] (キー)または[Key file] (キーファイル): キーを保存するキーまたはファイルのパスを指定します。

  • [Asymmetric Master Key] (非対称マスターキー): クライアント側のデータ暗号化に非対称マスターキー(1024ビットRSAキーペア)を使用します。

    • [Algorithm] (アルゴリズム): キーに関連付けられたアルゴリズムをリストから選択します。デフォルトでは、RSAというアルゴリズム以外はありません。

    • [Public key file] (パブリックキーファイル): パブリックキーファイルのパスを指定します。

    • [Private key file] (プライベートキーファイル): プライベートキーファイルのパスを指定します。

[Bucket] (バケット)

S3サーバーのバケットの名前、すなわち、最上位フォルダーを指定します。

[Key] (キー)

S3サーバーにアップロードされるデータを保持するファイルへのパスを指定します。パス内の別々のフォルダーを区別するにはスラッシュ(/)を使います。

例外処理:

  • このフィールドにファイル名のみを指定すると、ファイルはバケットに入ります。
  • 存在しないフォルダーがパスに含まれていると、そのフォルダーが作成されます。

  • ファイルが既に存在する場合は、上書きされます。

警告: このフィールドの先頭にスラッシュ(/)を使わないでください。

[File or Stream] (ファイルまたはストリーム)

アップロードするローカルファイルへのパス、またはデータのアップロード元となる入力ストリーム。

ストリームの使用方法の例は、『tfileinputdelimited_tfilefetch-tsleep-tlogrow_reading-data-from-a-remote-file-in-streaming-mode_standard_component_this-scena_c.html』をご覧ください。

[Server-Side Encryption] (サーバー側の暗号化)

このチェックボックスをオンにして、Amazon S3-Managed Encryption Keys (SSE-S3)でサーバー側の暗号化を有効にして、256ビットのAdvanced Encryption Standard (AES-256)暗号を使用してデータを暗号化します。

サーバー側の暗号化については、[Protecting Data Using Server-Side Encryption] (サーバー側の暗号化を使ったデータの保護)をご覧ください。

[Use KMS] (KMSの使用)

Amazon S3-Managed Encryption Keys (SSE-S3)の代わりにAWS KMS-Managed Keys (SSE-KMS)を使用してサーバー側の暗号化を有効にするには、このチェックボックスをオンにします。

このプロパティは、[Server-Side Encryption] (サーバー側の暗号化)チェックボックスがオンになっている場合に利用できます。

[Customer Master Key] (顧客マスターキー)

SSE-KMS暗号化用にAWS Key Management Serviceを使用してIAMコンソール内に作成した自身の顧客マスターキー(CMK)を指定します。これを指定しない場合は、SSE-KMS暗号化オブジェクトをリージョン内の定義済みバケットに初めて追加した時に作成されたデフォルトCMKが、SSE-KMS暗号化に使用されます。

このプロパティは[Use KMS] (KMSの使用)チェックボックスがオンになっている場合に利用できます。

[Die on error] (エラー発生時に強制終了)

このチェックボックスはデフォルトでオフになっています。すなわち、エラーが発生した行をスキップし、エラーが発生していない行のプロセスを完了させます。

詳細設定

[Config client] (クライアント設定)

このチェックボックスをオンにすると、クライアントパラメーターを設定できます。

[Client parameter] (クライアントパラメーター): リストからクライアントパラメーターを選択します。

[Value] (値): パラメーター値を入力します。

[Use existing connection] (既存の接続を使用)を選択した場合は使用できません。

[STS Endpoint] (STSエンドポイント)

このチェックボックスをオンにして、表示されたフィールドで、セッション認証情報の取得先とするAWS Security Token Service(STS)のエンドポイントを指定します。たとえばsts.amazonaws.comと入力します。

このチェックボックスは、[Assume role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Signing region] (サインインリージョン)

STSサービスのAWSリージョンを選択します。リストにリージョンがない場合は、リージョン名を二重引用付きで入力します。デフォルト値はus-east-1です。

このドロップダウンリストは、[Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[External Id] (外部ID)

ロールの持ち主であるアカウントの管理者から外部IDを提供されている場合は、その値をここに入力します。[External Id] (外部ID)は、一定数のユーザーがロールを引き受けられるようにする一意の識別子です。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Serial number] (シリアル番号)

ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、ロールを引き受けるユーザーに関連付けられているハードウェアや仮想MFAデバイスの識別番号を指定する必要があります。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Token code] (トークンコード)

ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、トークンコードを指定する必要があります。このトークンコードは、MFAデバイスによって生成される時間ベースのワンタイムパスワードです。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Tags] (タグ)

キーと値のペアという形式でセッションタグをリスト表示します。ポリシーでこれらのセッションタグを使えば、リクエストへのアクセスを許可したり拒否したりできます。

[Transitive] (推移的): このチェックボックスをオンにすると、タグがロールチェーンの次のロールまで存続することが示されます。

タグの詳細は、 AWS STSでのセッションタグの受け渡しをご覧ください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[IAM Policy ARNs] (IAMポリシーARN)

マネージドセッションポリシーとして使うIAMマネージドポリシーのAmazon Resource Names(ARN)を入力します。マネージドセッションポリシーを使ってセッションの権限を制限します。このポリシーはロールと同じアカウントに存在することが必要です。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。

セッションポリシーの詳細は、ポリシーとアクセス許可で該当するセクションをご覧ください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Policy] (ポリシー)

セッションポリシーとして使うIAMポリシーをJSON形式で入力します。セッションポリシーを使ってセッションの権限を制限します。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。

セッションポリシーの詳細は、ポリシーとアクセス許可で該当するセクションをご覧ください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

マルチパートしきい値(MB)

マルチパートしきい値をMBで指定します。ファイルのサイズがマルチパートしきい値より大きい場合は、分割され、アップロードされます。ストリーミングモードの場合は、この設定は影響しません。

[Part size (Mb)] (パーツサイズ: Mb)

パーツにオブジェクトをアップロードする場合は、パーツサイズを(MB単位で)指定します。

パーツサイズの範囲は5MBから5GBです。値が5を下回っている場合は、パーツサイズが5MBのオブジェクトがアップロードされます。サイズが5GBを下回るオブジェクトの場合は、このオプションを大きな値に設定すれば、パーツに分割されずにアップロードされます。

S3マルチパートアップロードについては、「マルチパートアップロードの概要」をご覧ください。

[Enable Accelerate Mode] (加速モードを有効化)

このチェックボックスをオンにすると、クライアントとS3バケットの間の距離が長い場合でもファイルを高速、簡単また安全な転送できるようになります。選択する場合、事前にS3バケットでこの加速モードを有効にしておく必要があります。

このオプションはダイナミックパラメーターとして動作するほか、コンテキスト変数を使って値を割り当てることもできます。

[Access control] (アクセス制御)

このチェックボックスは、現行オブジェクトでアクセス制御リスト(ACL)を設定する時にオンにします。

[Access control] (アクセス制御)を選択した状態でAccessテーブルの下にある [+]ボタンをクリックし、新しい行を追加します。ここでは、次の方法でAWSユーザーアカウントを追加して権限を設定できます。
  • Account canonical ID / emailカラムに、ユーザーの正規ユーザーIDかメールアドレスを二重引用符で囲んで入力します。
  • バケット内のオブジェクトのデータやメタデータを読み取る権限を付与する場合は、[Read object] (オブジェクトの読み取り)カラムを選択します。
  • バケット内のオブジェクトのACL (アクセス制御リスト)を読み取る権限を付与する場合は、[Read object permissions] (オブジェクトの読み取り権限)カラムを選択します。
  • バケット内のオブジェクトのACL (アクセス制御リスト)に書き込む権限を付与する場合は、[Write object permissions] (オブジェクトの書き込み権限)カラムを選択します。
注:
  • Account canonical ID / emailカラム内の文字列に@が含まれている場合は、メールアドレスと見なされます。
  • [Access control] (アクセス制御)が選択されていない場合、オブジェクトをアップロードするユーザーがそのオブジェクトの所有者となり、そのオブジェクトに関する権限をすべて持つことになります。
  • [Access control] (アクセス制御)が選択されている場合、オブジェクトをアップロードするユーザーがそのオブジェクトの所有者となりますが、そのオブジェクトに関する権限は持ちません。所有者への権限の付与は、[Access] (アクセス)テーブルで上述の方法で行います。
  • AWSグループはサポートされていません。

[Canned Access Control] (Cannedアクセス制御)

ドロップダウンリストからオプションを選択し、事前定義された権限を現在のリソースに与えます。Cannedアクセス制御については、Canned ACLをご覧ください。

[Enable object lock] (オブジェクトロックを有効化)

このオプションを選択して、Amazon S3オブジェクトロック機能を有効化します。

このオプションが有効化されていると、[Retention mode] (保持モード)ドロップダウンリストから保持モード(GovernanceまたはCompliance)を選択し、[Retention period] (保持期間)フィールドで保持期間を設定する必要もあります。

Amazon S3オブジェクトロック機能、保持モード、保持期間に関する詳細は、Amazon S3オブジェクトロックを使ってデータを保護をご覧ください。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、コンポーネントレベルでログデータを収集できます。

グローバル変数

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数は、[Die on error] (エラー発生時に強制終了)チェックボックスがオンになっている場合のみ機能します。

使用方法

[Usage rule] (使用ルール)

このコンポーネントはtS3Connectionなどの他のS3コンポーネントで使用できます。

[Dynamic settings] (ダイナミック設定)

[+]ボタンをクリックしてテーブルに行を追加し、[Code] (コード)フィールドにコンテキスト変数を入力して、ジョブ内で計画した複数の接続からデータベース接続をダイナミックに選択します。この機能は、データ構造が同じでデータベースが異なるデータベーステーブルにアクセスする必要がある場合、特に、Talend Studioを介さずにジョブをデプロイおよび実行する必要がある時など、ジョブの設定を変更できない環境で作業している場合に役立ちます。

ダイナミックパラメーターを定義すると、[Basic settings] (基本設定)ビューの[Component List] (コンポーネントリスト)ボックスは利用できなくなります。

動的パラメーターの使用サンプルは、コンテキストベースの動的接続によるデータベースからのデータの読み取りおよび動的に読み取られた接続パラメーターを使用した異なるMySQLデータベースからのデータの読み取りをご覧ください。[Dynamic settings] (ダイナミック設定)とコンテキスト変数については、Talend Studioユーザーガイドをご覧ください。