tS3Getの標準プロパティ - 7.3

Amazon S3

Version
7.3
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > Amazonサービス > Amazon S3
データガバナンス > サードパーティーシステム > Amazonサービス > Amazon S3
データクオリティとプレパレーション > サードパーティーシステム > Amazonサービス > Amazon S3
Last publication date
2024-02-22

これらのプロパティは、標準のジョブのフレームワークで実行されているtS3Getを設定するために使われます。

標準tS3Getコンポーネントは、Cloudファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのTalend製品で利用できます。

基本設定

[Use existing connection] (既存の接続を使用)

定義済みの接続の詳細を再利用する場合は、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。

[Access Key] (アクセスキー)

AWSアカウントを一意に識別するアクセスキーID。アクセスキーとアクセスシークレットを取得する方法は、Getting Your AWS Access Keysをご覧ください。

[Secret Key] (シークレットキー)

シークレットアクセスキーは、アクセスキーと合わせてセキュリティ認証情報を構成しています。

シークレットキーを入力するには、シークレットキーフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにシークレットキーを二重引用符の間に入力し、OKをクリックして設定を保存します。

[Credential Provider] (認証情報プロバイダー)

Static CredentialsInherit credentials from AWS roleWeb Identity TokenProfile credentials or inherit from AWS roleのいずれかのAWSセキュリティ認識情報を取得する方法を指定します。

  • Static Credentials: access keysecret keyをAWSセキュリティ認証情報として使用します。
  • Inherit credentials from AWS role: EMRインスタンスメタデータからAWSセキュリティ認証情報を取得します。このオプションを使用するには、Amazon EMRクラスターを開始する必要があり、このクラスターでジョブを実行する必要があります。詳細は、Using an IAM Role to Grant Permissions to Applications Running on Amazon EC2 Instancesをご覧ください。このオプションを使用すると、ジョブにAWSキーを配置せずにジョブを開発できるため、組織のセキュリティポリシーに簡単に準拠できます。
  • Web Identity Token: Amazon S3接続を確立するためにWebトークンを使用します。
  • Profile credentials or inherit from AWS role: ファイル(プロファイル設定ファイル)に保存されている認証情報をAWSセキュリティ認証情報として使うか、AWSロールからAWSセキュリティ認証情報を継承します。

    AWSセキュリティ認証情報は、プロファイル設定ファイルで、プロファイルにグルーピングできます。プロファイル設定ファイルには、1つ以上のプロファイルを含めます。オプションで、[Profile config file path] (プロファイル設定ファイルパス)フィールドでプロファイル設定ファイルを、[Profire name] (プロファイル名)フィールドで使用されるプロファイルを指定できます。

    [Profile config file path] (プロファイル設定ファイルパス)フィールドと[Profile name] (プロファイル名)フィールドが空のままである場合は、 <user folder>/.aws/credentialsプロファイル設定ファイルとして使われ、defaultという名前の付いたプロファイルが使われます。

    EC2インスタンスの場合は、プロファイル(特定またはデフォルトのプロファイル)が存在しないと、コンポーネントがAWSロールからセキュリティ認証情報を継承することを試行します。

注:
  • [Profile config file path] (プロファイル設定ファイルパス)フィールドと[Profile name] (プロファイル名)フィールドは、Profile credentials or inherit from AWS roleが選択されている場合に利用できます。
  • tRedshiftBulkExec、 tRedshiftOutputBulk、tRedshiftOutputBulkExecは、Static CredentialsまたはInherit credentials from AWS roleである[Credential Provider] (認証情報プロバイダー)で確立されたS3接続のみをサポートします。
注:
  • [Credential Provider] (認証情報プロバイダー)ドロップダウンリストはTalendのR2021-04以降のStudioマンスリーアップデートをインストールした時のみ利用できます。詳細は管理者にお問い合わせください。
  • Profile credentials or inherit from AWS roleオプション、[Profile config file path] (プロファイル設定ファイルパス)フィールド、[Profile name] (プロファイル名)フィールドは、Talendが提供するR2021-07以降のStudioマンスリーアップデートをインストールしている場合にのみ使用できます。詳細は管理者にお問い合わせください。

[Assume Role] (ロールを引き受け)

AWS IAMロールに関連付けられており、自分のユーザーアカウントに付与されていないアクセス権限を一時的に必要とする場合は、このチェックボックスをオンにすればそのロールを引き受けることができます。その後、次のパラメーターの値を指定して、新しく引き受けたロールセッションを作成します。

[Region] (リージョン)

リストからリージョン名を選択するか、リスト内で二重引用符の間にリージョンを入力して("us-east-1"など)、AWSリージョンを指定します。AWSリージョンの詳細の詳細は、Regions and Endpointsをご覧ください。

[Client-side Encrypt] (クライアント側の暗号化)

このチェックボックスをオンにすると、[Key type] (キータイプ)ドロップダウンリストが表示されるので、Amazon S3への送信前にクライアント側でデータを暗号化するための3つのオプションのうちいずれか1つを選択します。詳細は、[Protecting Data Using Client-Side Encryption] (クライアント側暗号化を使用したデータの保護)をご覧ください。
  • [KMS-managed customer master key] (KMS管理顧客マスターキー): クライアント側のデータ暗号化にKMS管理顧客(CMK)マスターキーを使用します。[Key] (キー)フィールドには、AWS KMS顧客マスターキーID(CMK ID)を指定する必要があります。

  • [Symmetric Master Key] (対称マスターキー): クライアント側のデータ暗号化に対称マスターキー(256ビットAESシークレットキー)を使用します。

    • [Algorithm] (アルゴリズム): キーに関連付けられたアルゴリズムをリストから選択します。デフォルトでは、AESというアルゴリズム以外はありません。

    • [Encoding] (エンコーディング): キーに関連付けられたエンコーディングのタイプ、Base64またはX509のいずれかをリストから選択します。

    • [Key] (キー)または[Key file] (キーファイル): キーを保存するキーまたはファイルのパスを指定します。

  • [Asymmetric Master Key] (非対称マスターキー): クライアント側のデータ暗号化に非対称マスターキー(1024ビットRSAキーペア)を使用します。

    • [Algorithm] (アルゴリズム): キーに関連付けられたアルゴリズムをリストから選択します。デフォルトでは、RSAというアルゴリズム以外はありません。

    • [Public key file] (パブリックキーファイル): パブリックキーファイルのパスを指定します。

    • [Private key file] (プライベートキーファイル): プライベートキーファイルのパスを指定します。

[Bucket] (バケット)

S3サーバーのバケットの名前、すなわち、最上位フォルダーを指定します。

[Key] (キー)

S3サーバーに保存するファイルへのパスを指定します。

警告: このフィールドの先頭にスラッシュ(/)を使わないでください。

[File] (ファイル)

ローカルに保存するファイルの名前。

[Die on error] (エラー発生時に強制終了)

このチェックボックスをオンにすると、エラー時に行をスキップし、エラーの発生していない行の処理が完了されます。デフォルトでは選択されていません。

詳細設定

[Config client] (クライアント設定)

このチェックボックスをオンにすると、クライアントパラメーターを設定できます。

[Client parameter] (クライアントパラメーター): リストからクライアントパラメーターを選択します。

[Value] (値): パラメーター値を入力します。

[Use existing connection] (既存の接続を使用)を選択した場合は使用できません。

[STS Endpoint] (STSエンドポイント)

このチェックボックスをオンにして、表示されたフィールドで、セッション認証情報の取得先とするAWS Security Token Service(STS)のエンドポイントを指定します。たとえばsts.amazonaws.comと入力します。

このチェックボックスは、[Assume role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Signing region] (サインインリージョン)

STSサービスのAWSリージョンを選択します。リストにリージョンがない場合は、リージョン名を二重引用付きで入力します。デフォルト値はus-east-1です。

このドロップダウンリストは、[Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[External Id] (外部ID)

ロールの持ち主であるアカウントの管理者から外部IDを提供されている場合は、その値をここに入力します。[External Id] (外部ID)は、一定数のユーザーがロールを引き受けられるようにする一意の識別子です。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Serial number] (シリアル番号)

ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、ロールを引き受けるユーザーに関連付けられているハードウェアや仮想MFAデバイスの識別番号を指定する必要があります。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Token code] (トークンコード)

ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、トークンコードを指定する必要があります。このトークンコードは、MFAデバイスによって生成される時間ベースのワンタイムパスワードです。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Tags] (タグ)

キー-値ペアという形式でセッションタグをリスト表示します。ポリシーでこれらのセッションタグを使えば、リクエストへのアクセスを許可したり拒否したりできます。

[Transitive] (推移的): このチェックボックスをオンにすると、タグがロールチェーンの次のロールまで存続することが示されます。

タグの詳細は、 AWS STSでのセッションタグの受け渡しをご覧ください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[IAM Policy ARNs] (IAMポリシーARN)

マネージドセッションポリシーとして使うIAMマネージドポリシーのAmazon Resource Names(ARN)を入力します。マネージドセッションポリシーを使ってセッションの権限を制限します。このポリシーはロールと同じアカウントに存在することが必要です。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。

セッションポリシーの詳細は、ポリシーとアクセス許可で該当するセクションをご覧ください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Policy] (ポリシー)

セッションポリシーとして使うIAMポリシーをJSON形式で入力します。セッションポリシーを使ってセッションの権限を制限します。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。

セッションポリシーの詳細は、ポリシーとアクセス許可で該当するセクションをご覧ください。

このフィールドは、[ Assume Role] (ロールを引き受け)チェックボックスがオンになっている場合のみ利用できます。

[Enable Accelerate Mode] (加速モードを有効化)

このチェックボックスをオンにすると、クライアントとS3バケットの間の距離が長い場合でもファイルを高速、簡単また安全な転送できるようになります。選択する場合、事前にS3バケットでこの加速モードを有効にしておく必要があります。

[Use Select] (選択の使用)

Amazon S3からファイルを取得する方法をカスタマイズするには、このチェックボックスをオンにします。
  • [File Type] (ファイルタイプ): 取得するファイルのタイプ
  • [Query] (クエリー):ファイルの取得に使うクエリー。
  • [Compressed Type] (圧縮タイプ):圧縮するファイルの圧縮タイプ
  • [Header Type] (ヘッダータイプ)[Field Separator] (フィールド区切り): ファイルの取得に使うヘッダータイプとフィールド区切り

[S3 CSV Input Options] (S3 CSV入力オプション)

CSVファイルの入力設定を指定するには、このチェックボックスをオンにします。

これらのプロパティは、[Use Select] (選択の使用)チェックボックスがオンの場合のみ利用できます。

[Configure Output] (出力の設定)

ファイルの出力に使う設定を指定するには、このチェックボックスをオンにします。

これらのプロパティは、[Use Select] (選択の使用)チェックボックスがオンの場合のみ利用できます。

[JSON Record Delimiter] (JSONレコード区切り)

JSONレコードを区切るために使う区切りを設定するために使われます。

これらのプロパティは、Output TypeドロップダウンリストでJSONが選択されている場合のみ利用できます。

[Add the InputStream in Global variables] (InputStreamをグローバル変数に追加)

このチェックボックスをオンにすると、InputStreamがグローバル変数に追加されて、ジョブ内の他のコンポーネントがこの入力データを使えるようになります。

これらのプロパティは、[Use Select] (選択の使用)チェックボックスがオンの場合のみ利用できます。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、コンポーネントレベルでログデータを収集できます。

グローバル変数

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数は、[Die on error] (エラー発生時に強制終了)チェックボックスがオンになっている場合のみ機能します。

Records InputStream

処理される入力ストリーム。これはAfter変数で、レコードを返します。

使用方法

使用ルール

このコンポーネントは、tS3Connectionなどの他のS3コンポーネントで使用できます。

現在は、標準ジョブでS3オブジェクトからデータを直接取得するコンポーネントがありません。標準ジョブを通じてS3オブジェクトからデータを取得するには、tS3Getコンポーネントを使い、S3オブジェクトをファイルとしてダウンロードし他後に、ファイル入力コンポーネントを使って、ファイルからデータを取得できます。関連情報については、S3オブジェクトからデータを取得するをご覧ください。

[Dynamic settings] (ダイナミック設定)

[+]ボタンをクリックしてテーブルに行を追加し、[Code] (コード)フィールドにコンテキスト変数を入力して、ジョブ内で計画した複数の接続からデータベース接続をダイナミックに選択します。この機能は、データストラクチャーが同じでデータベースが異なるデータベーステーブルにアクセスする必要がある場合、特に、Talend Studioを介さずにジョブをデプロイおよび実行する必要がある時など、ジョブの設定を変更できない環境で作業している場合に役立ちます。

ダイナミックパラメーターを定義すると、[Basic settings] (基本設定)ビューの[Component List] (コンポーネントリスト)ボックスは利用できなくなります。

ダイナミックパラメーターの定義法を示すユースケースについては、コンテキストベースのダイナミック接続によってデータベースからデータを読み取りと、ダイナミックにロードされた接続パラメーターを使って異なるMySQLデータベースからデータを読み取りをご覧ください。[Dynamic settings] (ダイナミック設定)とコンテキスト変数については、Talend Studioユーザーガイドをご覧ください。