tVerticaOutput標準プロパティ - 7.3

Vertica

EnrichVersion
Cloud
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
EnrichPlatform
Talend Studio
task
ジョブデザインと開発 > サードパーティーシステム > DBコンポーネント > Vertica
データガバナンス > サードパーティーシステム > DBコンポーネント > Vertica
データクオリティとプレパレーション > サードパーティーシステム > DBコンポーネント > Vertica

これらのプロパティは、Standardジョブフレームワークで実行されるtVerticaOutputを構成するために使用されます。

Standard tVerticaOutputコンポーネントは、データベースファミリーのコンポーネントです。

このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。

注: このコンポーネントは、動的データベースコネクターの特定のバージョンです。データベース設定に関連するプロパティは、データベースタイプの選択に応じて異なります。動的データベースコネクターについては、動的データベースコンポーネントを参照してください。

基本設定

データベース

データベースのタイプをリストから選択し、[Apply] (適用)をクリックします。

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

  • Built-In (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続プロパティの値を手動で指定する必要があります。

  • [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。このチェックボックスのとなりにある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーの内容)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

アイコンをクリックしてデータベース接続ウィザードを開き、コンポーネントに設定したデータベース接続パラメーターを保存します。

データベース接続パラメーターの設定と保管の詳細は、Talend Studioユーザーガイドを参照してください。

[DB Version] (DBバージョン)

データベースのバージョンを選択します。

[Use an existing connection] (既存の接続を使用する)

定義済みの接続の詳細を再利用するには、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)で該当する接続コンポーネントをクリックします。

ジョブに親ジョブと子ジョブが含まれている時は、2つのレベルの間の既存の接続を共有する必要がな場合(たとえば、親ジョブで作成した接続を子ジョブと共有するなど)には、以下を実行する必要があります。

  1. 親レベルで、共有するデータベース接続を、そのデータベース接続そのものを作成する接続コンポーネントの[Basic settings] (基本設定)ビューに登録します。

  2. 子レベルで、登録済みのそのデータベース接続を読み取るために専用の接続コンポーネントを使用します。

ジョブレベルをまたがってデータベース接続を共有する方法の例は、『 Talend Studio ユーザーガイド』を参照してください。

[Host] (ホスト)

データベースのIPアドレスまたはホスト名。

ポート

データベースのリスニングポート番号。

データベース

データベースの名前。

スキーマ

データベースのスキーマ。

[Username] (ユーザー名)[Password] (パスワード)

データベースのユーザー認証データ。

パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

[Table] (テーブル)

データが書き込まれるテーブルの名前。

[Action on table] (テーブルの操作)

定義されたテーブルに対して実行する操作を選択します。

  • [Default] (デフォルト): 操作は行われません。

  • [Drop and create table] (テーブルの削除と作成): テーブルが削除され、再作成されます。

  • [Create table] (テーブルの作成): テーブルが存在しないため、作成します。

  • [Create table if not exists] (存在しない場合はテーブルを作成): テーブルが存在しない場合は作成されます。

  • [Drop table if exist and create] (存在する場合はテーブルを削除して作成): テーブルが既に存在する場合は削除されて、再作成されます。

  • [Clear table] (テーブルのクリア): テーブルの内容が削除されます。操作はロールバックできます。

このプロパティは、[Advanced settings] (詳細設定)ビューの[Enable parallel execution] (並列実行の有効化)チェックボックスが選択されている場合は使用できません。

[Use "drop cascade"] ("ドロップカスケード"の使用)

ドロップされるテーブルに関連するすべてのオブジェクトを削除するには、このチェックボックスを選択します。

このプロパティは、[Action on table] (テーブルのアクション)リストからテーブルドロップ関連のオプションが選択されている場合にのみ使用できます。

[Action on data] (データへのアクション)

定義されたテーブルのデータに対して実行する操作を選択します。

  • [Insert] (挿入): テーブルに新しいエントリ-が追加されます。重複が見つかった場合、ジョブは停止されます。

  • [Update] (更新): 既存のエントリーが変更されます。

  • [Insert or update] (挿入または更新): 新しいレコードを挿入します。指定された参照を持つレコードが既に存在する場合は、更新されます。

  • [Update or insert] (更新または挿入): 指定された参照を使用してレコードを更新します。レコードが存在しない場合は、新しいレコードが挿入されます。

  • [Delete] (削除): 入力フローに対応するエントリーを削除します。

  • [Copy] (コピー): テキストファイルからデータを読み取り、エントリのタプルをWOS(Write Optimized Store)または直接ROS(Read Optimized Store)に挿入します。このオプションは、一括読み込みに最適です。詳細は、VerticaSQLリファレンスマニュアルを参照してください。

[Update] (更新)および[Delete] (削除)操作を行う主キーとして少なくとも1列のカラムを指定する必要があります。それには、[Edit Schema] (スキーマの編集)をクリックし、主キーに指定するカラムの横にあるチェックボックスをオンにします。高度な設定を行う場合は、[Advanced settings] (詳細設定)ビューをクリックして、[Update] (更新)および[Delete] (削除)操作の主キーを同時に定義できます。この場合、[Use field options] (フィールドオプションの使用)チェックボックスを選択し、[Update Key] (更新キー)カラムで、[Update] (更新)操作のベースとして使用するカラム名の横にあるチェックボックスを選択します。[Delete] (削除)操作の[Deletion key] (削除キー)カラムでも同じようにします。

スキーマスキーマの編集

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

  • Built-in (組み込み): そのコンポーネントのみのスキーマを作成して、ローカルに保存します。

  • Repository (リポジトリー): スキーマは作成済みで、リポジトリーに保管されており、さまざまなプロジェクトやジョブデザインで再利用できます。

再使用するスキーマに整数またはファンクションのデフォルト値が指定されている場合は、これらのデフォルト値を引用符で囲まないように注意してください。引用符で囲まれている場合は手動で削除します。

詳細は、Talend Studioユーザーガイドでテーブルスキーマに関連する説明を参照してください。

スキーマを変更するには[Edit schema] (スキーマの編集)をクリックします。
注: 変更を加えると、スキーマは自動的に組み込みになります。
  • View schema (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • Change to built-in property (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • Update repository connection (リポジトリー接続を更新): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

このコンポーネントはダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、『 Talend Studio ユーザーガイド』を参照してください。

このダイナミックスキーマ機能は、テーブルの不明なカラムを取得する目的で設計されており、この目的に限り使用をお勧めします。テーブルの作成で使用することは勧められていません。

Die on error (エラー発生時に強制終了)

このチェックボックスを選択すると、エラー発生時にジョブの実行が停止されます。

エラーの発生した行をスキップし、エラーが発生していない行の処理を完了するには、このチェックボックスの選択を解除します。

エラーがスキップされる際、Row > Reject接続を使って、エラー行を収集できます。

詳細設定

[Use alternate schema] (代替スキーマを使用)

データベース接続を確立するコンポーネント(つまり、[Basic settings] (基本設定)ビューの[Component list] (コンポーネントリスト)ドロップダウンリストから選択されたコンポーネント)によって指定されたスキーマ以外のスキーマを使うには、このオプションを選択します。このオプションを選択した後、[Schema] (スキーマ)フィールドに目的のスキーマの名前を入力します。

このオプションは、[Basic settings] (基本設定)ビューで[Use an existing connection] (既存の接続を使用する)がオンの場合に利用できます。

[Additional JDBC Parameters] (追加のJDBCパラメーター)

作成するデータベース接続に追加のJDBCパラメーターを指定します。

このプロパティは、[Basic settings] (基本設定)[Use an existing connection] (既存の接続を使用する)チェックボックスがオンの場合には使用できません。

[Abort on error] (エラーで中止)

いずれかの行がリジェクトされた場合に[Copy] (コピー) 操作を停止し、操作をロールバックするには、このチェックボックスを選択します。したがって、データはロードされません。

このプロパティは、[Action on data] (データへのアクション)ドロップダウンリストで[COPY] (コピー)が選択されている場合にのみ利用できます。

[Maximum rejects] (最大リジェクト)

数値を入力して、Verticaが使用するREJECTMAXコマンドを設定します。これは、ロードが失敗する前にリジェクトされる論理レコードの数の上限を示します。指定されない場合、または値が0の場合、リジェクトは無制限に許可されます。

このプロパティは、[Action on data] (データへのアクション)ドロップダウンリストで[COPY] (コピー)が選択されている場合にのみ利用できます。

[No commit] (コミットなし)

現在のトランザクションが自動的にコミットされないようにするには、このチェックボックスを選択します。

このプロパティは、[Action on data] (データへのアクション)ドロップダウンリストで[COPY] (コピー)が選択されている場合にのみ利用できます。

[Exception file] (例外ファイル)

入力行番号と各リジェクトされたデータレコードの理由を示すメッセージが書き込まれているファイルへのパスを入力するか、ファイルを参照します。

このプロパティは、[Action on data] (データへのアクション)ドロップダウンリストで[COPY] (コピー)が選択されている場合にのみ利用できます。

[Exception file node] (例外ファイルノード)

例外ファイルのノードを入力します。指定しない場合、操作はデフォルトでクエリのイニシエーターノードになります。

このプロパティは、[Action on data] (データへのアクション)ドロップダウンリストで[COPY] (コピー)が選択されている場合にのみ利用できます。

[Rejected data file] (リジェクトされたデータファイル)

リジェクトされた行を書き込むファイルへのパスを入力するか、ファイルを参照します。その後、このファイルを編集して問題を解決し、再ロードできます。

このプロパティは、[Action on data] (データへのアクション)ドロップダウンリストで[COPY] (コピー)が選択されている場合にのみ利用できます。

[Rejected data file node] (リジェクトされたデータファイルノード)

リジェクトされたデータファイルのノードを入力します。指定しない場合、操作はデフォルトでクエリのイニシエーターノードになります。

このプロパティは、[Action on data] (データへのアクション)ドロップダウンリストで[COPY] (コピー)が選択されている場合にのみ利用できます。

[Commit every] (コミットする間隔)

ノードのバッチがデータベースにコミットされるまでに処理されているべき行数を指定します。

このオプションにより、トランザクションの質(ただしロールバックは含まない)、特に実行時のパフォーマンスの向上が保証されます。

[Use batch mode] (バッチモードの使用)

このチェックボックスをオンにしてデータ処理のバッチモードを有効に設定し、[Batch size] (バッチサイズ)フィールドが表示されたら、各バッチで処理するレコード数を指定します。

このプロパティは、[Action on data] (データへのアクション)ドロップダウンリストで、InsertUpdateDelete、またはCopyが選択されている場合にのみ使用できます。

[Additional Columns] (追加のカラム)

このオプションにより、SQL関数を呼び出してカラムにアクションを実行できます。ただし、挿入、更新、削除のアクションでないこと、特定の事前処理を必要とするアクションでないことが条件です。このオプションは、データベーステーブルを作成する場合(ドロップありまたはドロップなし)には提供されません。

  • [Name] (名前): 変更するか、または新しいカラムとして挿入するスキーマカラムの名前を入力します。

  • DataType: 新しいカラムのデータ型を入力します。

  • [SQL expression] (SQL式): 関連するカラムデータを変更または挿入するために実行するSQLステートメントを入力します。

  • [Position] (位置): 参照カラムに対して実行されるアクションに従って、[Before] (実行前)[Replace] (置換)または[After] (実行後)を選択します。

  • [Reference column] (参照カラム): 新規または変更されたカラムを配置または置換するためにコンポーネントが使える参照のカラムを選択します。

フィールドオプションの使用

対応するカラムのリクエストをカスタマイズする場合、特に、データに対して複数のアクションが実行される場合に、このチェックボックスを選択します。

  • [Update Key] (キーの更新): データの更新に基づいて対応するカラムのチェックボックスを選択します。
  • [Deletion Key] (削除キー): データ削除の基準とする対応するカラムのチェックボックスを選択します。
  • [Updatable] (更新可能): 対応するカラムのデータを更新できる場合は、チェックボックスをオンにします。

  • 挿入可能: 対応する列のデータを挿入できる場合は、チェックボックスをオンにします。

[Debug query mode] (デバッグクエリーモード)

このチェックボックスをオンにすると、データベースのエントリの処理中に各ステップが表示されます。

[Support null in "SQL WHERE" statement] ("SQL WHERE"ステートメントでnullをサポート)

"SQL WHERE"ステートメントのNull値を検証するには、このチェックボックスを選択します。

[Create projection when create table] (テーブルを作成するときにプロジェクションを作成する)

このチェックボックスを選択すると、プロジェクションが作成されます。

このチェックボックスは、[Action on table] (テーブルのアクション)ドロップダウンリストからテーブル作成関連オプションが選択されている場合にのみ使用できます。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスを選択すると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

[Enable parallel execution] (並列実行の有効化)

このチェックボックスを選択すると、複数のデータフローを同時に処理することにより、高速データ処理を実行できます。このフィーチャーは、データベースまたは複数の挿入を並行して処理するアプリケーションの機能と、関係するCPUの数に依存していることに注意してください。[Number of parallel executions] (並列実行の数)フィールドで次のいずれかの操作を行います:
  • 実行する並列実行の数を入力する。
  • [Ctrl] + [Space]を押して、リストから適切なコンテキスト変数を選択する。詳細は、『 Talend Studioユーザーガイド』を参照してください。

並列実行を有効にすると、グローバル変数を使ってサブジョブで戻り値を取得することはできないことに注意してください。

  • [Action on table] (テーブルのアクション)フィールドは、並列化ファンクションでは使用できません。したがって、テーブルを作成する場合は、tCreateTableコンポーネントを使用する必要があります。
  • 並列実行が有効になっている場合、グローバル変数を使用してサブジョブの戻り値を取得することはできません。

[Global Variables] (グローバル変数)

NB_LINE

処理された行数。これはAfter変数で、整数を返します。

NB_LINE_COPIED

コピーされた行数。これはAfter変数で、整数を返します。

NB_LINE_DELETED

削除された行の数。これはAfter変数で、整数を返します。

NB_LINE_INSERTED

挿入された行数。これはAfter変数で、整数を返します。

NB_LINE_REJECTED

却下された行数。これはAfter変数で、整数を返します。

NB_LINE_UPDATED

更新された行数。これはAfter変数で、整数を返します。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

使用方法

使用ルール

このコンポーネントは出力コンポーネントとして使われます。このコンポーネントを使って、データベース内のテーブルまたはテーブルのデータにアクションを実行できます。また、[Row] (行) > [Rejects] (リジェクト)リンクを使って、エラーのあるデータをフィルタリングするリジェクトフローを作成することもできます。tMysqlOutputの使い方の例は、リジェクトリンクを使用してエラーデータを取得するを参照してください。

Talend StudioとVerticaデータベースは、非常に高速で手頃なデータウェアハウスとデータマートアプリケーションを作成します。Verticaに接続するようにTalend Studioを構成する方法の詳細は、TalendおよびHPVerticaのヒントとテクニックを参照してください。

[Dynamic settings] (ダイナミック設定)

[+]ボタンをクリックしてテーブルに行を追加し、[Code] (コード)フィールドにコンテキスト変数を入力して、ジョブ内で計画した複数の接続からデータベース接続をダイナミックに選択します。この機能は、データ構造が同じでデータベースが異なるデータベーステーブルにアクセスする必要がある場合、特に、Talend Studioを介さずにジョブをデプロイおよび実行する必要がある時など、ジョブの設定を変更できない環境で作業している場合に役立ちます。

[Dynamic settings] (動的設定)テーブルは、[Basic settings] (基本設定)ビューで[Use an existing connection] (既存の接続を使用)チェックボックスが選択されている場合にのみ使用できます。ダイナミックパラメーターを定義すると、[Basic settings] (基本設定)ビューの[Component List] (コンポーネントリスト)ボックスは使用できなくなります。

動的パラメーターの使用サンプルは、コンテキストベースの動的接続によるデータベースからのデータの読み取りおよび動的に読み込まれた接続パラメーターを使用した異なるMySQLデータベースからのデータの読み取りを参照してください。[Dynamic settings] (動的設定)とコンテキスト変数については、『Talend Studioユーザーガイド』を参照してください。