tRedshiftOutputの標準プロパティ

目的のデータベースタイプをリストから選択し、[Apply] (適用)をクリックします。

[Property type] (プロパティタイプ)

[Built-in] (組み込み)と[Repository] (リポジトリー)のいずれかです。

• [Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。
• [Repository] (リポジトリー): プロパティが保管されるリポジトリーファイルを選択します。後続フィールドは、取得されたデータを使用して自動的に入力されます。

このアイコンをクリックすると、データベース接続ウィザードが開き、コンポーネント[Basic settings] (基本設定)ビューに設定したデータベース接続パラメーターが保存されます。

データベース接続パラメーターの設定と保存の詳細は、データベースメタデータを一元管理をご覧ください。

[Use an existing connection] (既存の接続を使用)

定義済みの接続の詳細を再利用する場合は、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。

ドライバーバージョン

使用するRedshiftのドライバーとして、[Driver v1] (ドライバーv1)と[Driver v2] (ドライバーv2)のいずれかを選択します。

[Host] (ホスト)

データベースサーバーのホスト名またはIPアドレス。

[Port] (ポート)

データベースサーバーのリスニングポート番号。

[Database] (データベース)

データベース名。

使用するバケットとRedshiftデータベースは、Amazon上の同じリージョンに存在している必要があります。これにより、Amazonで既知のS3ServiceExceptionエラーが回避できる可能性があります。これらのエラーについては、S3ServiceExceptionエラーをご覧ください。

[Schema] (スキーマ)

スキーマの正確な名前。

[Username] (ユーザー名)と[Password] (パスワード)

データベースユーザー認証データ。

パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。

[Use String JDBC parameters] (文字列JDBCパラメーターを使用)

文字列でJDBCのプロパティを設定するために使われます。このオプションを選択した場合は、[Additional JDBC Parameters] (追加のJDBCパラメーター)フィールドにJDBCパラメーター文字列を入力します。このオプションを選択していない場合は、[Additional JDBC Parameters] (追加のJDBCパラメーター)フィールドにJDBCプロパティとプロパティ値を入力します。

このオプションは、[Driver version] (ドライバーバージョン)ドロップダウンリストから、[Driver v1] (ドライバーv1)が選択されている場合は利用できません。

[Additional JDBC Parameters] (追加のJDBCパラメーター)

作成する接続の追加のJDBCプロパティを指定します。プロパティはアンパサンド(&)で区切られ、各プロパティはキー-値ペアです。たとえば、ssl=true & sslfactory=com.amazon.redshift.ssl.NonValidatingFactoryになります。これは、SSLを使用して接続が作成されることを意味します。

このフィールドは、[Driver version] (ドライバーバージョン)ドロップダウンリストで[Driver v2] (ドライバーv2)が選択されており、[Use String JDBC parameters] (文字列JDBCパラメーターを使用)オプションが選択されていない場合は利用できません。

[Additional JDBC Parameters] (追加のJDBCパラメーター) (テーブル)

テーブル行でJDBCのプロパティを指定します。

JDBCプロパティを指定する場合は、このテーブルの下部にあるプラスボタンをクリックしてテーブルに行を追加し、Keyカラムにプロパティ名を、次にValueカラムにプロパティ値を入力します。

このオプションは、[Driver version] (ドライバーバージョン)ドロップダウンリストから、[Driver v2] (ドライバーv2)が選択されており、[Use String JDBC parameters] (文字列JDBCパラメーターを使用)オプションが選択されていない場合に利用できます。

[Table] (テーブル)

データが書き込まれるテーブルの名前。一度に書き込みができるテーブルは1つだけです。

[Action on table] (テーブルでのアクション)

定義済みのテーブルで、次のオペレーションの1つを実行できます。

[None] (なし): 操作は行われません。

[Drop and create a table] (ドロップしてテーブルを作成): テーブルが削除され、再び作成されます。

[Create a table] (テーブルを作成): テーブルが存在しないため、作成されます。

[Create a table if not exists] (テーブルが存在しない場合は作成): テーブルが存在しない場合は作成されます。

[Drop a table if exists and create] (存在する場合はテーブルをドロップして作成): テーブルが既に存在する場合は削除されて再作成されます。

[Clear a table] (テーブルをクリア): テーブルのコンテンツが削除されます。

[Action on data] (データでのアクション)

定義されたテーブルのデータで実行できる操作は次のとおりです。

[Insert] (挿入): テーブルに新しいエントリーを追加します。重複が見つかると操作は停止します。

[Delete] (削除): 入力フローに対応するエントリーを削除します。

[Schema] (スキーマ)と[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

このコンポーネントは、ダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、ダイナミックスキーマをご覧ください。

ダイナミックスキーマ機能は、テーブルの不明なカラムを取得するしくみになっており、その他の目的には使用しないことをお勧めします。テーブルの作成には推奨しません。

[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

再使用するスキーマに整数またはファンクションのデフォルト値が指定されている場合は、これらのデフォルト値を引用符で囲まないようにご注意ください。引用符で囲まれている場合は手動で削除します。

詳細は、テーブルスキーマを取得をご覧ください。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

• [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

• [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

• [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

  変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Die on error] (エラー発生時に強制終了)

このチェックボックスはデフォルトで選択されています。エラーの発生した行をスキップし、エラーが発生していない行の処理を完了するには、このチェックボックスをオフにします。必要に応じて[Row] (行) > [Rejects] (リジェクト)リンクを使ってエラー発生時に行を取得できます。

このオプションを選択すると、データベース接続を確立するコンポーネント(つまり[Basic settings] (基本設定)ビューの[Component list] (コンポーネントリスト)ドロップダウンリストから、選択されたコンポーネント)によって指定されたスキーマ以外のスキーマを使用できます。このオプションを選択した後、[Schema] (スキーマ)フィールドに目的のスキーマの名前を入力します。

このオプションは、[Basic settings] (基本設定)ビューで[Use an existing connection] (既存の接続を使用)がオンの場合に利用できます。

[Extend Insert] (挿入を延長)

行を1つずつ挿入するのでなく、指定した一連の行を一括挿入するには、このチェックボックスを選択します。システムパフォーマンスが大幅に向上します。

[Number of rows per insert] (インサート毎の行数): オペレーションごとに挿入される行数を指定します。指定する値が大きいほどメモリの使用量が増えるため、パフォーマンスがその分低下します。

Amazon Redshiftでは、1回の挿入の行数を32767未満にする必要があります。このため、入力した数がこの上限を超えると、Studio Talendは自動的にこの数をこの上限未満にリセットします。

[Use Batch] (バッチを使用)

このチェックボックスをオンにして、データ処理のバッチモードを有効にします。

[Batch Size] (バッチサイズ)

各バッチで処理するレコードの数を指定します。

このフィールドは、[Use batch mode] (バッチモードを使用)チェックボックスがオンの場合のみ表示されます。

[Commit every] (コミットする間隔)

ノードのバッチがデータベースにコミットされるまでに完了しているべき行数を入力します。このオプションにより、トランザクションの質(ただしロールバックは含まない)、特に実行時のパフォーマンスの向上が保証されます。

[Additional Columns] (追加のカラム)

このオプションは、データベーステーブルを作成する場合(ドロップありまたはドロップなし)には提供されません。このオプションにより、SQLファンクションを呼び出してカラムにアクションを実行できます。ただし、挿入、アップデート、削除のアクションでないこと、特定の事前処理を必要とするアクションでないことが条件です。

• [Name] (名前): 変更するか、新しいカラムとして挿入するスキーマカラムの名前を入力します。
• [SQL expression] (SQL式): 関連するカラムデータを変更または挿入するために実行するSQLステートメントを入力します。
• [Position] (位置): 参照カラムに対して実行されるアクションに従って、[Before] (実行前)、[Replace] (置換)、[After] (実行後)のいずれかを選択します。
• [Reference column] (参照カラム): 新規または変更されたカラムを配置または置換するためにtDBOutputが使える参照のカラムを入力します。

[Use field options] (フィールドオプションを使用)

特にデータに二重のアクションがある場合、リクエストをカスタマイズするには、このチェックボックスをオンにします。

[Support null in "SQL WHERE" statement] ("SQL WHERE"ステートメントでnullをサポート)

"SQL WHERE"ステートメントでnullを検証する場合は、このチェックボックスを選択します。

[Table name include schema] (テーブル名はスキーマを含む)

このチェックボックスをオンにして、[Basic settings] (基本設定)ビューの[Table] (テーブル)フィールドにテーブルとともにスキーマを指定します。このチェックボックスを選択すると、スキーマとテーブルの両方を[Table] (テーブル)フィールドにyourSchema.yourTableの形式で指定できます。ジョブはyourSchemaでyourTableを見つけようとします。

[tStat Catcher Statistics] (tStatCatcher統計)

このチェックボックスを選択すると、コンポーネントレベルでログデータを収集できます。

[Enable parallel execution] (並列実行を有効化)

並列実行を有効にすると、グローバル変数を使ってサブジョブで戻り値を取得することはできないことにご注意ください。

グローバル変数

NB_LINE: 処理された行の数。これはAfter変数で、整数を返します。

NB_LINE_UPDATED: アップデートされた行の数。これはAfter変数で、整数を返します。

NB_LINE_INSERTED: 挿入された行の数。これはAfter変数で、整数を返します。

NB_LINE_DELETED: 削除された行の数。これはAfter変数で、整数を返します。

NB_LINE_REJECTED: 拒否された行の数。これはAfter変数で、整数を返します。

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。

Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入力する場合は、Ctrl + スペースを押して変数リストにアクセスし、使用する変数を選択します。

変数の詳細は、コンテキストと変数を使用をご覧ください。

使用ルール

[Dynamic settings] (ダイナミック設定)

[+]ボタンをクリックしてテーブルに行を追加し、[Code] (コード)フィールドにコンテキスト変数を入力して、ジョブ内で計画した複数の接続からデータベース接続をダイナミックに選択します。この機能は、データストラクチャーが同じでデータベースが異なるデータベーステーブルにアクセスする必要がある場合、特に、Studio Talendを介さずにジョブをデプロイおよび実行する必要がある時など、ジョブの設定を変更できない環境で作業している場合に役立ちます。

[Dynamic settings] (ダイナミック設定)テーブルは、[Basic settings] (基本設定)ビューで[Use an existing connection] (既存の接続を使用)チェックボックスがオンになっている場合のみ利用できます。ダイナミックパラメーターを定義すると、[Basic settings] (基本設定)ビューの[Component List] (コンポーネントリスト)ボックスは利用できなくなります。

ダイナミックパラメーターの定義法を示すユースケースについては、コンテキストベースのダイナミック接続によってデータベースからデータを読み取りと、ダイナミックにロードされた接続パラメーターを使って異なるMySQLデータベースからデータを読み取りをご覧ください。ダイナミック設定とコンテキスト変数の詳細は、ダイナミックスキーマとコンテキストグループを作成し、その中でコンテキスト変数を定義をご覧ください。

ライセンスの互換性の問題のため、このコンポーネントの使用に必要な1つ以上のJARが提供されていません。この特定のコンポーネントに不足しているJARをインストールするには、Component (コンポーネント)タブビューの[Install] (インストール)ボタンをクリックします。Studio TalendのIntegrationパースペクティブにある[Modules] (モジュール)タブでも、不足しているすべてのJARを簡単に見つけて追加できます。詳細は、外部モジュールをインストールをご覧ください。