tRedshiftOutputBulk標準プロパティ - 7.2

Amazon Redshift

Version
7.2
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > Amazonサービス > Amazon Redshift
データガバナンス > サードパーティーシステム > Amazonサービス > Amazon Redshift
データクオリティとプレパレーション > サードパーティーシステム > Amazonサービス > Amazon Redshift

このプロパティはStandardジョブフレームワークで実行されているtRedshiftOutputBulkを設定するために使います。

Standard tRedshiftOutputBulkコンポーネントはCloudファミリーとデータベースファミリーのコンポーネントです。

このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。

注: このコンポーネントは、動的データベースコネクターの特定のバージョンです。データベース設定に関連するプロパティは、データベースタイプの選択に応じて異なります。動的データベースコネクターについては、動的データベースコンポーネントを参照してください。

基本設定

データベース

データベースのタイプをリストから選択し、[Apply] (適用)をクリックします。

[Data file path at local] (ローカルデータファイルパス)

生成するファイルへのローカルパスを指定します。

このファイルは、Studioがインストールされているか、またはこのコンポーネントを使っているジョブがデプロイされているのと同じマシンに生成されます。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

 

[Built-in] (組み込み): そのコンポーネントのみのスキーマを作成して、ローカルに保存します。

 

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

 

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを使用できます。

  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続を更新): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Compress the data file] (データファイルを圧縮)

このチェックボックスをオンにして、表示されたリストから圧縮タイプを選択し、データファイルを圧縮します。

[Append the local file] (ローカルファイルの追加)チェックボックスをオンにすると、このフィールドは表示されなくなります。

[Encrypt] (暗号化)

データファイルを生成し、クライアント側の暗号化を使ってAmazon S3にアップロードするには、このチェックボックスをオンにします。[Encryption key] (暗号化キー)フィールドが表示されたら、ファイルの暗号化に使う暗号化キーを入力します。

デフォルトでは、このチェックボックスはオフになっており、データファイルはサーバー側の暗号化を使ってAmazon S3にアップロードされます。

クライアント側とサーバー側の暗号化については、暗号化を使用したデータの保護を参照してください。

[Access Key] (アクセスキー)

AWSアカウントを一意に識別するアクセスキーIDを指定します。アクセスキーとアクセスシークレットを取得する方法は、『AWSアクセスキーの取得』を参照してください。

[Secret Key] (シークレットキー)

シークレットアクセスキーは、アクセスキーと合わせてセキュリティ認証情報を構成しています。

シークレットキーを入力するには、シークレットキーフィールドの横の[...]ボタンをクリックし、ポップアップダイアログボックスにシークレットキーを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

[Inherit credentials from AWS role] (AWSロールから認証情報を継承)

Amazon EC2インスタンスのメタデータからAWSセキュリティ認証情報を取得するには、このチェックボックスをオンにします。このオプションを使用するには、Amazon EC2インスタンスを起動し、ジョブをAmazon EC2上で実行する必要があります。詳細は、[Using an IAM Role to Grant Permissions to Applications Running on Amazon EC2 Instances] (IAMロールを使用してAmazon EC2インスタンスで実行されているアプリケーションにアクセス権限を付与)を参照してください。

[Assume role] (ロールを引き受け)

AWS IAMロールに関連付けられており、自分のユーザーアカウントに付与されていないアクセス権限を一時的に必要とする場合は、このチェックボックスをオンにすればそのロールを引き受けることができます。その後、次のパラメーターの値を指定して、新しく引き受けたロールセッションを作成します。

[Region] (リージョン)

リストからリージョン名を選択するか、リスト内で二重引用符の間にリージョンを入力して("us-east-1"など)、AWSリージョンを指定します。AWSリージョンの詳細の詳細は、[Regions and Endpoints] (リージョンとエンドポイント)を参照してください。

[STS Endpoint] (STSエンドポイント)

このチェックボックスをオンにし、表示されているフィールドで、AWSセキュリティトークンサービスエンドポイントたとえば、セッション認証情報を取得するsts.amazonaws.comなどを指定します。

このチェックボックスは、[Assume role] (ロールを引き受け)チェックボックスが選択されている場合にのみ使用できます。

Bucket (バケット)

ファイルのアップロード先のAmazon S3バケットの名前、つまり最上位のフォルダーを入力します。

使用するバケットとRedshiftデータベースは、Amazon上の同じリージョンに存在している必要があります。これにより、Amazonで既知のS3ServiceExceptionエラーが回避できる可能性があります。これらのエラーについては、S3ServiceExceptionエラーを参照してください。

[Key] (キー)

Amazon S3にアップロードされたファイルに割り当てるオブジェクトキーを入力します。

詳細設定

[Field Separator] (フィールド区切り)

フィールドを区切るための文字を入力します。

[Text enclosure] (テキストエンクロージ​ャー)

フィールドが引用符で囲まれているペア内の文字を選択します。

[Delete local file after putting it to s3] (S3へ格納後にローカルファイルを削除)

Amazon S3にアップロードされた後にローカルファイルを削除するには、このチェックボックスをオンにします。デフォルトでは、このチェックボックスはオンです。

[Create directory if not exists] (ディレクトリーがない場合はディレクトリーを作成)

[Data file path at local] (ローカルデータファイルパス)フィールドで指定したディレクトリーが存在しない場合は、このチェックボックスをオンにして、指定したディレクトリーを作成します。デフォルトでは、このチェックボックスはオンです。

[Encoding] (エンコーディング)

生成するファイル内のデータのエンコードタイプを選択します。

[Config client] (クライアント設定)

このチェックボックスをオンにすると、Amazon S3のクライアントパラメーターを設定できます。表示されたテーブルの下の[+]ボタンをクリックして、必要な数の行をクライアントパラメーターとして追加し、各パラメーターに以下の属性を設定します。

  • [Client Parameter] (クライアントパラメーター): セルをクリックし、ドロップダウンリストからパラメーターを選択します。

  • [Value] (値): 対応するクライアントパラメーターの値を入力します。

S3クライアントパラメーターの詳細は、クライアント側の設定を参照してください。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

[Global Variables] (グローバル変数)

NB_LINE: 処理された行の数。これはAfter変数で、整数を返します。

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、Die on error (エラー時強制終了)がオフになっている場合にのみ機能します。

Flow変数はコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + Spaceを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、『 Talend Studio ユーザーガイド』を参照してください。

使用方法

使用ルール

このコンポーネントは、カンマ区切り/CSVファイルでAmazon Redshiftにフィードするために、一般にtRedshiftBulkExecと共に使います。一緒に使うと、Amazon Redshiftをフィードする時にパフォーマンスが向上します。