tRedshiftOutputBulkExec標準プロパティ - 7.3

Amazon Redshift

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > Amazonサービス > Amazon Redshift
データガバナンス > サードパーティーシステム > Amazonサービス > Amazon Redshift
データクオリティとプレパレーション > サードパーティーシステム > Amazonサービス > Amazon Redshift

このプロパティはStandardジョブフレームワークで実行されているtRedshiftOutputBulkExecを設定するために使います。

Standard tRedshiftOutputBulkExecコンポーネントはCloudファミリーとデータベースファミリーのコンポーネントです。

このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。

注: このコンポーネントは、動的データベースコネクターの特定のバージョンです。データベース設定に関連するプロパティは、データベースタイプの選択に応じて異なります。動的データベースコネクターについては、../reuse/../standard/dynamic-database-components_c.htmlを参照してください。

基本設定

データベース

データベースのタイプをリストから選択し、[Apply] (適用)をクリックします。

[Property Type] (プロパティタイプ)

[Built-In] (組み込み)または[Repository] (リポジトリー)のいずれか。

 

[Built-In] (組み込み): プロパティデータは一元的に保存されません。

 

[Repository] (リポジトリー): プロパティが保管されるリポジトリーファイルを選択します。続くデータベース接続フィールドは、取得されたデータを使用して自動的に入力されます。

[Use an existing connection] (既存の接続の使用)

定義済みの接続の詳細を再利用するには、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストで目的の接続コンポーネントを選択します。

[Host] (ホスト)

データベースサーバーのIPアドレスまたはホスト名を入力します。

[Port] (ポート)

データベースサーバーのリスニングポート番号を入力します。

[Database] (データベース)

データベースの名前を入力します。

[Schema] (スキーマ)

スキーマの名前を入力します。

[Username] (ユーザー名)[Password] (パスワード)

データベースユーザー認証データを入力します。

パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

[Additional JDBC Parameters] (追加のJDBCパラメーター)

作成する接続の追加のJDBCプロパティを指定します。プロパティはアンパサンド(&)で区切られ、各プロパティはキー/値ペアです。たとえば、ssl=true & sslfactory=com.amazon.redshift.ssl.NonValidatingFactoryになります。これは、SSLを使用して接続が作成されることを意味します。

[Table Name] (テーブル名)

作成するテーブルの名前を指定します。一度に1つのテーブルしか書き込めないことにご注意ください。

[Action on table] (テーブルへのアクション)

定義済みのテーブルで、次のオペレーションの1つを実行できます。

  • [None] (なし): 操作は行われません。

  • [Drop and create table] (テーブルの削除と作成): テーブルが削除され、再作成されます。

  • [Create table] (テーブルの作成): テーブルが存在しないため、作成します。

  • [Create table if not exists] (存在しない場合はテーブルを作成): テーブルが存在しない場合は作成されます。

  • [Drop table if exists and create] (テーブルがある場合はテーブルをドロップして作成します): テーブルが既に存在する場合は削除され、再び作成されます。

  • [Clear table] (テーブルのクリア): テーブルの内容が削除されます。操作はロールバックできます。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

 

[Built-in] (組み込み): そのコンポーネントのみのスキーマを作成して、ローカルに保存します。

 

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

 

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを使用できます。

  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続を更新): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Data file path at local] (ローカルデータファイルパス)

生成するファイルへのローカルパスを指定します。

このファイルは、Studioがインストールされているか、またはこのコンポーネントを使っているジョブがデプロイされているのと同じマシンに生成されます。

[Append the local file] (ローカルファイルの追加)

このチェックボックスをオンにすると、指定したローカルファイルが既に存在する場合は、上書きではなく、追加されます。

[Create directory if not exists] (ディレクトリーがない場合はディレクトリーを作成)

[Data file path at local] (ローカルデータファイルパス)フィールドで指定したディレクトリーが存在しない場合は、このチェックボックスをオンにして、指定したディレクトリーを作成します。デフォルトでは、このチェックボックスはオンです。

[Use an existing S3 connection] (既存のS3接続を使う)

定義済みの接続の詳細を再利用するには、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストで目的の接続コンポーネントを選択します。

[Credential Provider] (認証情報プロバイダー)

AWSセキュリティ認識情報を取得する方法(Static CredentialsまたはInherit credentials from AWS role)を指定します。

注: このドロップダウンリストはTalendのR2021-07以降のStudio月次アップデートをインストールした時のみ利用できます。詳細は管理者にお問い合わせください。

[Access Key] (アクセスキー)

AWSアカウントを一意に識別するアクセスキーIDを指定します。アクセスキーとアクセスシークレットを取得する方法は、『AWSアクセスキーの取得』を参照してください。

注: このオプションは、[Credentials provider] (認証情報プロバイダー)ドロップダウンリストから、Use an existing S3 connectionまたはInherit credentials from AWS roleが選択されていない場合に使用できます。

[Secret Key] (シークレットキー)

シークレットアクセスキーを指定します。シークレットアクセスキーは、アクセスキーと組み合わせてセキュリティ認証情報を構成します。

シークレットキーを入力するには、シークレットキーフィールドの横の[...]ボタンをクリックし、ポップアップダイアログボックスにシークレットキーを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

注: このオプションは、[Credentials provider] (認証情報プロバイダー)ドロップダウンリストから、Use an existing S3 connectionまたはInherit credentials from AWS roleが選択されていない場合に使用できます。

[S3 Assume Role] (S3ロールを引き受け)

AWS IAMロールに関連付けられており、自分のユーザーアカウントに付与されていないアクセス権限を一時的に必要とする場合は、このチェックボックスをオンにすればそのロールを引き受けることができます。その後、次のパラメーターの値を指定して、新しく引き受けたロールセッションを作成します。

このロールに関連付けられている信頼ポリシーによって、自分のユーザーアカウントにそのロールへのアクセスが付与されていることをご確認ください。不明であれば、そのロールの所有者かAWS管理者にお問い合わせください。

注: このオプションは、[Use existing S3 connection] (既存のS3接続の使用)が選択されていない場合に使用できます。
  • [Role ARN] (ロールARN): 引き受けるロールのARN (Amazonリソース名)。このARN名は、AWSポータルで使用するロールの[Summary] (概要)ページで見つかります。このロールARNの形式は、たとえばam:aws:iam::[aws_account_number]:role/[role_name]となります。

  • [Role session name] (ロールセッション名): 引き受けたロールセッションの一意識別に使用する名前を入力します。この名前には英字(大文字と小文字の両方)と数字を使用できますが、スペースを含めることはできません。また、アンダースコア( _ )の他、= , . @ - も使用できます。

  • [Session duration (minutes)] (セッション処理時間(分)): 引き受けたロールセッションをアクティブにする期間(分)。この期間をAWS管理者が設定した最大期間より長くすることはできません。値を指定しない場合、持続時間は3600秒がデフォルトとなります。

IAMロールと関連するポリシータイプの例については、AWSドキュメンテーションで[Create and Manage AWS IAM Roles] (AWS IAMロールの作成と管理)を参照してください。

[Region] (リージョン)

リストからリージョン名を選択するか、リスト内で二重引用符の間にリージョンを入力して("us-east-1"など)、AWSリージョンを指定します。AWSリージョンの詳細の詳細は、[Regions and Endpoints] (リージョンとエンドポイント)を参照してください。

注: このフィールドは、[Use an existing S3 connection] ( 既存のS3接続を使う)が選択されていない場合に利用できます。

[Bucket] (バケット)

ファイルのアップロード先のAmazon S3バケットの名前、つまり最上位のフォルダーを入力します。

使用するバケットとRedshiftデータベースは、Amazon上の同じリージョンに存在している必要があります。これにより、Amazonで既知のS3ServiceExceptionエラーが回避できる可能性があります。これらのエラーについては、S3ServiceExceptionエラーを参照してください。

[Key] (キー)

Amazon S3にアップロードされたファイルに割り当てるオブジェクトキーを入力します。

[Redshift Assume Role] (Redshiftロールを引き受け)

このチェックボックスをオンにして、新たに引き受けたロールセッションの作成に使用する以下のパラメーターに値を指定します。

  • [IAM Role ARNs chains] (IAMロールARNチェーン): 連結された一連のロール。クラスターがリソースにアクセスするために引き受けることのできる、他のアカウントに属している場合があります。

    最大10のロールを連結できます。

  • [Role ARN] (ロールARN): 引き受けるロールのARN (Amazonリソース名)。

IAMロールARNチェーンの詳細は、[Authorizing Redshift service] (Redshiftサービスの承認)を参照してください。

詳細設定

[Fields terminated by] (フィールド区切り記号)

フィールドを区切るための文字を入力します。

[Enclosed by] (引用符)

フィールドが引用符で囲まれているペア内の文字を選択します。

[Compressed by] (圧縮方式)

このチェックボックスをオンにして、表示されたリストから圧縮タイプを選択し、データファイルを圧縮します。

[Append the local file] (ローカルファイルの追加)チェックボックスをオンにすると、このフィールドは表示されなくなります。

[Encrypt] (暗号化)

データファイルを生成し、クライアント側の暗号化を使ってAmazon S3にアップロードするには、このチェックボックスをオンにします。[Encryption key] (暗号化キー)フィールドが表示されたら、ファイルの暗号化に使用されている暗号化キーを指定します。base64でエンコードされたAES 128ビットまたはAES 256ビットのエンベロープキーのみサポートされています。詳細は、Loading Encrypted Data Files from Amazon S3を参照してください。

デフォルトでは、このチェックボックスはオフになっており、データファイルはサーバー側の暗号化を使ってAmazon S3にアップロードされます。

クライアント側とサーバー側の暗号化については、暗号化を使用したデータの保護を参照してください。

注: このフィールドは、[Use an existing S3 connection] ( 既存のS3接続を使う)が選択されていない場合に利用できます。

[Encoding] (エンコーディング)

生成するファイル内のデータのエンコードタイプを選択します。

[Delete local file after putting it to s3] (S3へ格納後にローカルファイルを削除)

Amazon S3にアップロードされた後にローカルファイルを削除するには、このチェックボックスをオンにします。デフォルトでは、このチェックボックスはオンです。

[Date format] (日付形式)

リストから次のアイテムの1つを選択し、ソースデータの日付形式を指定します。

  • NONE: 日付形式は指定されません。

  • PATTERN: これを選択すると、表示されるフィールドで日付形式を指定できます。デフォルトの日付形式はYYYY-MM-DDです。

  • AUTO: Amazon Redshiftが日付形式を認識し、自動的に変換するように設定するには、これを選択します。

[Time format] (時刻の形式)

リストから次のアイテムの1つを選択し、ソースデータの時刻の形式を指定します。

  • NONE: 時刻の形式は指定されません。

  • PATTERN: これを選択すると、表示されるフィールドで時刻の形式を指定できます。デフォルトの時刻形式はYYYY-MM-DD HH:MI:SSです。

  • AUTO: Amazon Redshiftが時刻の形式を認識し、自動的に変換するように設定するには、これを選択します。

  • EPOCHSECS: ソースデータがエポックタイム(1970年1月1日、00:00:00 UTCを基準とする秒数)で表されるようにするには、これを選択します。

  • EPOCHMILLISECS: ソースデータがエポックタイム(1970年1月1日、00:00:00 UTCを基準とするミリ秒数)で表されるようにするには、これを選択します。

[Settings] (設定)

データをロードする際のパラメーターを増やすには、テーブルの下の[+]ボタンをクリックします。

  • [Parameter] (クライアントパラメーター): セルをクリックし、ドロップダウンリストからパラメーターを選択します。

  • [Value] (値): 対応するパラメーターに値を設定します。値を必要としないパラメーター(IGNOREBLANKLINESなど)に値を設定することはできません。

パラメーターの詳細は、http://docs.aws.amazon.com/redshift/latest/dg/r_COPY.htmlを参照してください。

[Config client] (クライアント設定)

このチェックボックスをオンにすると、Amazon S3のクライアントパラメーターを設定できます。表示されたテーブルの下の[+]ボタンをクリックして、必要な数の行をクライアントパラメーターとして追加し、各パラメーターに以下の属性を設定します。

  • [Client Parameter] (クライアントパラメーター): セルをクリックし、ドロップダウンリストからパラメーターを選択します。

  • [Value] (値): 対応するクライアントパラメーターの値を入力します。

S3クライアントパラメーターの詳細は、クライアント側の設定を参照してください。

[STS Endpoint] (STSエンドポイント)

このチェックボックスをオンにして、表示されたフィールドで、セッション認証情報の取得先とするAWS Security Token Service(STS)のエンドポイントを指定します。たとえばsts.amazonaws.comと入力します。

このチェックボックスは、[S3 Assume Role] (S3ロールを引き受け)チェックボックスがオンの場合にのみ利用できます。

[Signing region] (サインインリージョン)

STSサービスのAWSリージョンを選択します。リストにリージョンがない場合は、リージョン名を二重引用付きで入力します。デフォルト値はus-east-1です。

このドロップダウンリストは、[S3 Assume Role] (S3ロールを引き受け)チェックボックスがオンの場合にのみ利用できます。

External Id (外部ID)

ロールの持ち主であるアカウントの管理者から外部IDを提供されている場合は、その値をここに入力します。[External Id] (外部ID)は、一定数のユーザーがロールを引き受けられるようにする一意の識別子です。

このフィールドは、[S3 Assume Role] (S3ロールを引き受け)チェックボックスがオンの場合にのみ利用できます。

Serial number (シリアル番号)

ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、ロールを引き受けるユーザーに関連付けられているハードウェアや仮想MFAデバイスの識別番号を指定する必要があります。

このフィールドは、[S3 Assume Role] (S3ロールを引き受け)チェックボックスがオンの場合にのみ利用できます。

Token code (トークンコード)

ロールを引き受けた場合、そのロールの信頼ポリシーで多エレメント認証(MFA)が必要になることがあります。その際は、トークンコードを指定する必要があります。このトークンコードは、MFAデバイスによって生成される時間ベースのワンタイムパスワードです。

このフィールドは、[S3 Assume Role] (S3ロールを引き受け)チェックボックスがオンの場合にのみ利用できます。

[Tags] (タグ)

キーと値のペアという形式でセッションタグをリスト表示します。ポリシーでこれらのセッションタグを使えば、リクエストへのアクセスを許可したり拒否したりできます。

[Transitive] (推移的): このチェックボックスをオンにすると、タグがロールチェーンの次のロールまで存続することが示されます。

タグの詳細は、 AWS STSでのセッションタグの受け渡しを参照してください。

このフィールドは、[S3 Assume Role] (S3ロールを引き受け)チェックボックスがオンの場合にのみ利用できます。

IAM Policy ARNs (IAMポリシーARN)

マネージドセッションポリシーとして使うIAMマネージドポリシーのAmazon Resource Names(ARN)を入力します。マネージドセッションポリシーを使ってセッションの権限を制限します。このポリシーはロールと同じアカウントに存在することが必要です。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。

セッションポリシーの詳細は、ポリシーとアクセス許可で該当するセクションを参照してください。

このフィールドは、[S3 Assume Role] (S3ロールを引き受け)チェックボックスがオンの場合にのみ利用できます。

ポリシー

セッションポリシーとして使うIAMポリシーをJSON形式で入力します。セッションポリシーを使ってセッションの権限を制限します。結果として得られるセッションの権限は、そのロールのIDベースのポリシーとセッションポリシーの中間となります。

セッションポリシーの詳細は、ポリシーとアクセス許可で該当するセクションを参照してください。

このフィールドは、[S3 Assume Role] (S3ロールを引き受け)チェックボックスがオンの場合にのみ利用できます。

JDBC url
Amazon Redshiftデーターベースへのアクセス方法を[JDBC url] (JDBC URL) ドロップダウンリストから選択します。
  • [Standard] (標準): Redshiftデータベースへのアクセスに標準的な方法を使用します。
  • [SSO] (SSO): Redshiftデータベースにアクセスするには、IAMシングルサインオン(SSO)認証の方法を使用します。このオプションを選択する前に、Redshiftクラスターに追加されたIAMロールに、このクラスターに対する適切なアクセス権と権限があることをご確認ください。詳細は、AWSサービスの管理者にお問い合わせください。

    このオプションは、[Basic settings] (基本設定)[Use an existing connection] (既存の接続を使用)チェックボックスがオフの場合にのみ利用できます。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

[Global Variables] (グローバル変数)

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、Die on error (エラー時強制終了)がオフになっている場合にのみ機能します。

Flow変数はコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + Spaceを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、『 Talend Studio ユーザーガイド』を参照してください。

使用方法

使用ルール

このコンポーネントは、Amazon Redshiftにロードするデータが特定の変換を必要としない場合に主に使います。

[Dynamic settings] (ダイナミック設定)

[+]ボタンをクリックしてテーブルに行を追加し、[Code] (コード)フィールドにコンテキスト変数を入力して、ジョブ内で計画した複数の接続からデータベース接続をダイナミックに選択します。この機能は、データ構造が同じでデータベースが異なるデータベーステーブルにアクセスする必要がある場合、特に、Talend Studioを介さずにジョブをデプロイおよび実行する必要がある時など、ジョブの設定を変更できない環境で作業している場合に役立ちます。

[Dynamic settings] (動的設定)テーブルは、[Basic settings] (基本設定)ビューで[Use an existing connection] (既存の接続を使用)チェックボックスが選択されている場合にのみ使用できます。ダイナミックパラメーターを定義すると、[Basic settings] (基本設定)ビューの[Component List] (コンポーネントリスト)ボックスは使用できなくなります。

動的パラメーターの使用サンプルは、../reuse/../standard/reading-data-from-databases-through-context-based-dynamic-connect_c.htmlおよび../reuse/../standard/tcontextload_tlogrow-tfileinputdelimited-tmysqlinput_reading-data-from-different-mysql-databases-using-dynamically-loa_standard_component_the-job-in_c.htmlを参照してください。[Dynamic settings] (動的設定)とコンテキスト変数については、『Talend Studioユーザーガイド』を参照してください。