tNetezzaNzLoad標準プロパティ - 7.3

Netezza

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > DBコンポーネント > Netezza
データガバナンス > サードパーティーシステム > DBコンポーネント > Netezza
データクオリティとプレパレーション > サードパーティーシステム > DBコンポーネント > Netezza

このプロパティはStandardジョブフレームワークで実行されているtNetezzaNzLoadを設定するために使います。

Standard tNetezzaNzLoadコンポーネントはデータベースファミリーのコンポーネントです。

このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。

基本設定

[Property type] (プロパティタイプ)

[Built-in] (組み込み)または[Repository] (リポジトリー)のいずれかで次の設定を行います

 

[Built-in] (組み込み): プロパティデータは一元的に保管されません。

 

[Repository] (リポジトリー): プロパティが保管されるリポジトリーファイルを選択します。後続フィールドは、取得されたデータを使用して自動的に入力されます。

[Host] (ホスト)

データベースサーバーのIPアドレス。

[Port] (ポート)

DBサーバーのリスニングポート番号。

[Database] (データベース)

Netezzaデータベースの名前。

[Username] (ユーザー名)[Password] (パスワード)

DBユーザー認証データ。

パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

[Table] (テーブル)

データが挿入されるテーブルの名前。

[Action on table] (テーブルへのアクション)

データをロードする前に、定義済みのテーブルで次の操作の1つを実行できます。

[None] (なし): 操作は行われません。

[Drop and create a table] (ドロップしてテーブルを作成): テーブルが削除され、再び作成されます。

[Create a table] (テーブルの作成): テーブルが存在せず、作成されます。

[Create table if not exists] (存在しない場合はテーブルを作成): テーブルが存在しない場合は作成されます。

[Drop table if exist and create] (存在する場合はテーブルを削除して作成): テーブルが既に存在する場合は削除されて、再作成されます。

[Clear table] (テーブルのクリア): データがロードされる前にテーブルのコンテンツが削除されます。

[Truncate table] (テーブルを切り詰める): データをロードする前にtruncateステートメントを実行して、テーブルのコンテンツ全体をクリアします。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

 

[Built-in] (組み込み): そのコンポーネントのみのスキーマを作成して、ローカルに保存します。

 

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

 

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを使用できます。

  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続を更新): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Data file] (データファイル)

使うデータファイルへの完全パス。このコンポーネントが単独で使われる場合(入力フローを使って別のコンポーネントに接続されていない場合)、これはデータベースにロードされる既存のデータファイルの名前です。接続されている場合は、入力フローを使って別のコンポーネントに接続されています。これは、後でデータベースにロードするためにnzloadで使うために、生成されて着信データと共に書き込まれるファイルの名前です。

[Use named-pipe] (名前付きパイプを使う)

データファイルの代わりに名前付きパイプを使うには、このチェックボックスをオンにします。このオプションは、コンポーネントが入力フローで別のコンポーネントに接続されている場合にのみ使えます。チェックボックスがオンの場合、データファイルは生成されず、データは名前付きパイプを介してnzloadに転送されます。このオプションにより、LinuxとWindowsの両方でパフォーマンスが大幅に向上します。

注:

名前付きパイプモードのこのコンポーネントは、JNIインターフェイスを使って、任意のWindowsプラットフォームで名前付きパイプの作成と書き込みを行います。したがって、関連するJNI DLLへのパスは、Javaライブラリーパス内で設定する必要があります。コンポーネントには、32ビットと64ビットの両方のオペレーティングシステム用の2つのDLLが付属しています。これらのDLLは、コンポーネントと共にStudioに自動的に提供されています。

[Named-pipe name] (名前付きパイプの名前)

使う名前付きパイプの名前を指定します。入力した名前が有効であることをご確認ください。

詳細設定

[Additional JDBC Parameters] (追加のJDBCパラメーター)

作成するデータベース接続に追加のJDBCパラメーターを指定します。

[Use existing control file] (既存の制御ファイルを使用する)

コンポーネントですべてのオプションを明示的に指定する代わりに、nzloadユーティリティで使う制御ファイルを提供するには、このチェックボックスをオンにします。このチェックボックスをオンにすると、[Data file] (データファイル)とその他のnzload関連オプションは適用されなくなります。制御ファイルの作成の詳細は、Netezzaのnzloadマニュアルを参照してください。

注:

制御ファイルの使用中は、グローバル変数NB_LINEはサポートされません。

[Control file] (制御ファイル)

使う制御ファイルのパスを二重引用符で囲んで入力するか、[...]をクリックして制御ファイルを参照します。このオプションは-cf引数を介してnzloadユーティリティに渡されます。

[Field separator] (フィールド区切り)

フィールドを区切るために使う文字、文字列、または正規表現。

警告:

これはnzloadのdelim引数です。[Wrap quotes around fields] (フィールドを引用符で囲む)オプションを使わない場合は、データベースに挿入されるデータに区切り記号が含まれていないことを確認する必要があります。デフォルト値は\tまたはTABです。パフォーマンスを向上させるには、デフォルト値を使います。

[Wrap quotes around fields] (フィールドを引用符で囲む)

このオプションは、StringByteByte[]CharObject型のカラムにのみ適用されます。次のいずれかを選択します。

[None] (なし): カラム値が引用符で囲まれません。

[Single quote] (一重引用符): カラムの値が一重引用符で囲まれます。

[Double quote] (二重引用符): カラムの値が二重引用符で囲まれます。

警告:

[Single quote] (一重引用符)オプションまたは[Double quote] (二重引用符)オプションを使う場合は、[Escape char] (エスケープ文字)として\を使う必要があります。

[Advanced options] (詳細オプション)

nzload引数を対応するテーブルに設定します。[+]を必要な回数だけクリックしてして、テーブルに引数を追加します。[Parameter] (パラメーター)フィールドをクリックして、リストから引数を選択します。次に、対応する[Value] (値)フィールドをクリックして、値を引用符で囲んで入力します。

使用可能なパラメーターの詳細は、[Parameters] (パラメーター)を参照してください。

[Encoding] (エンコーディング)

リストからエンコーディングのタイプを選択します。

[Specify nzload path] (nzloadパスを指定)

nzload実行可能ファイルへの完全パスを指定するには、このチェックボックスをオンにします。nzloadパスがPATH環境変数で指定されていない場合は、このオプションをオンにする必要があります。

[Full path to nzload executable] (nzload実行可能ファイルへの完全パス)

使用中のマシン上のnzload実行可能ファイルへの完全パス。このオプションを選択する代わりに、PATH環境変数でnzloadパスを指定することをお勧めします。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、コンポーネントレベルでログデータを収集できます。

[Enable parallel execution] (並列実行の有効化)

このチェックボックスをオンにすると、複数のデータフローを同時に処理することにより、高速データ処理を実行できます。このフィーチャーは、データベースまたは複数の挿入を並行して処理するアプリケーションの機能と、関係するCPUの数に依存していることにご注意ください。[Number of parallel executions] (並列実行の数)フィールドで次のいずれかの操作を行います:
  • 実行する並列実行の数を入力する。
  • [Ctrl] + [Space]を押して、リストから適切なコンテキスト変数を選択する。詳細は、『 Talend Studioユーザーガイド』を参照してください。

並列実行を有効にすると、グローバル変数を使ってサブジョブで戻り値を取得することはできないことにご注意ください。

警告:
  • [Action on table] (テーブルのアクション)フィールドは、並列化ファンクションでは使用できません。したがって、テーブルを作成する場合は、tCreateTableコンポーネントを使用する必要があります。
  • 並列実行が有効になっている場合、グローバル変数を使用してサブジョブの戻り値を取得することはできません。

グローバル変数

[Global Variables] (グローバル変数)

NB_LINE: 処理された行の数。これはAfter変数で、整数を返します。

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、Die on error (エラー時強制終了)がオフになっている場合にのみ機能します。

Flow変数はコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + Spaceを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、『 Talend Studio ユーザーガイド』を参照してください。

使用方法

使用ルール

このコンポーネントは、データベースにロードするデータが特定の変換を必要としない場合に主に使います。

このコンポーネントはスタンドアロンコンポーネントまたは出力コンポーネントとして使えます。

[Parameters] (パラメーター)

次のテーブルに、[Advanced settings] (詳細設定)タブの[Advanced options] (詳細オプション)テーブルで使えるパラメーターをリスト表示します。

-If

生成するファイルの名前。ログファイルが既に存在する場合は、ログが追加されます。パラメーターが指定されていない場合、ログファイルのデフォルト名は'<table_name>.<db_name>.nzlog'です。そして、ジョブが実行されている現在の作業ディレクトリーの下に生成されます。

-bf

生成する不良ファイルの名前。不良ファイルには、Netezzaの内部エラーのためにロードできなかったすべてのレコードが含まれています。不良ファイルが既に存在する場合は、レコードが追加されます。パラメーターが指定されていない場合、不良ファイルのデフォルト名は'<table_name>.<db_name>.nzbad'です。そして、ジョブが実行されている現在の作業ディレクトリーの下に生成されます。

-ouputDir

ログと不良ファイルが生成されるディレクトリーパス。パラメーターが指定されていない場合、ファイルはジョブが現在実行されている現在のディレクトリーの下に生成されます。

-logFileSize

ログファイルの最大サイズ。値の単位はMBです。デフォルト値は2000、すなわち2GBです。ハードディスク容量を節約するには、ジョブが頻繁に実行される場合は、少なめの量を指定します。

-compress

データファイルが圧縮されている場合は、このオプションを指定します。有効な値は"TRUE"または"FALSE"です。デフォルト値は"FALSE"です。

このオプションは、このコンポーネントが単独で使われ、入力フローを介して別のコンポーネントに接続されていない場合にのみ有効です。

-skipRows <n>

データファイルの先頭からスキップする行数。データファイルからヘッダー行をスキップする場合は、値を"1"に設定します。デフォルト値は"0"です。

このオプションは、このコンポーネントが単独で使われ、入力フローを介して別のコンポーネントに接続されていない場合にのみ使ってください。

-maxRows <n>

データファイルからロードする最大行数。

このオプションは、このコンポーネントが単独で使われ、入力フローを介して別のコンポーネントに接続されていない場合にのみ使ってください。

-maxErrors

ロードプロセスを終了する前に許可するエラーレコードの最大数。デフォルト値は"1"です。

-ignoreZero

入力データのバイナリゼロバイトはエラーを生成します。このオプションを"NO"に設定してエラーを生成するか、"YES"に設定してゼロバイトを無視します。デフォルト値は"NO"です。

-requireQuotes

このオプションでは、すべての値を引用符で囲む必要があります。デフォルト値は"FALSE"です。

このオプションは現在、入力フローでは機能しません。このオプションは、既存のファイルに対してスタンドアロンモードでのみ使ってください。

-nullValue <トークン>

データファイル内でnull値を示すトークンを指定します。デフォルト値は"NULL"です。パフォーマンスをわずかに改善するには、値をシングルクォート"\ '\'"に指定して、この値を空のフィールドに設定するという方法があります。

-fillRecord

欠落している後続の入力フィールドをnullとして扱います。テーブルの値フィードにこのオプションの値を指定する必要はありません。このオプションはデフォルトではオフになっているため、入力フィールドはデフォルトでテーブルのすべてのカラムと完全に一致している必要があります。

後続の入力フィールドは、データベース内でNULL可能でなければなりません。

-ctrlChar

char/varcharフィールドに制御文字を受け入れます(NUL、CR、LFをエスケープする必要があります)。テーブルの値フィードにこのオプションの値を指定する必要はありません。このオプションはデフォルトでオフになっています。

-ctInString

char/varcharフィールドにエスケープされていないCRを受け入れます(行末はLFのみとなります)。テーブルの値フィードにこのオプションの値を指定する必要はありません。このオプションはデフォルトでオフになっています。

-truncString

宣言されたchar/varcharのストレージを超える文字列値を切り捨てます。テーブルの値フィードにこのオプションの値を指定する必要はありません。このオプションはデフォルトでオフになっています。

-dateStyle

入力データを書き込む日付形式を指定します。有効な値は、"YMD"、"Y2MD"、"DMY"、"DMY2"、"MDY"、"MDY2"、"MONDY"、"MONDY2"です。デフォルト値は"YMD"です。

コンポーネントのスキーマのカラムの日付形式は、ここで指定した値と一致している必要があります。たとえば、DATEカラムをロードする場合は、コンポーネントスキーマで日付形式を"yyyy-MM-dd"に、-dateStyleオプションを"YMD"に指定します。

日付と時刻フィールドの読み込みの詳細は、DATE、TIME、TIMESTAMPカラムをロードするを参照してください。

-dateDelim

日付部分を区切る区切り文字。" " (空のスペース)である"MONDY[2]"を除き、デフォルト値はすべての日付スタイルで"-"です。

コンポーネントのスキーマのカラムの日付形式は、ここで指定した値と一致している必要があります。

-y2Base

2桁の年(Y2)のdateStyleを使って表現できる最初の年。

-timeStyle

入力データを書き込む時間形式を指定します。有効な値は"24HOUR"と"12HOUR"です。デフォルト値は"24HOUR"です。わずかでもパフォーマンスを良くするには、デフォルト値を維持する必要があります。

コンポーネントのスキーマのカラムの時間形式は、ここで指定した値と一致している必要があります。たとえば、TIMEカラムをロードする場合は、コンポーネントスキーマで日付形式を"HH:mm:ss"に、timeStyleオプションを"24HOUR"に指定します。

日付と時刻フィールドの読み込みの詳細は、DATE、TIME、TIMESTAMPカラムをロードするを参照してください。

-timeDelim

時間部分を区切る区切り文字。デフォルト値は":"です。

注:

コンポーネントのスキーマのカラムの時間形式は、ここで指定した値と一致している必要があります。

-timeRoundNanos

マイクロ秒未満の分解で、ゼロ以外の桁を許可しますが丸めます。

-boolStyle

ブール型データをデータに書き込む形式を指定します。有効な値は、"1_0"、"T_F"、"Y_N"、"TRUE_FALSE"、"YES"です。デフォルト値は"1_0"です。わずかでもパフォーマンスを良くするには、デフォルト値を維持してください。

-allowRelay

1回以上のSPUのリセットまたはフェイルオーバーの後にロードを続行できるようにします。デフォルトの動作は許可されていません。

-allowRelay <n>

ロードの許容継続回数を指定します。デフォルト値は"1"です。

DATE、TIME、TIMESTAMPカラムをロードする

このコンポーネントを入力フローで使う場合、コンポーネントのスキーマ内で指定する日付形式は、-dateStyle、-dateDelim、-timeStyle、-timeDelimオプションに指定された値と一致している必要があります。

DBタイプ

スキーマの日付形式

-dateStyle

-dateDelim

-timeStyle

-timeDelim

日付

"yyyy-MM-dd"

"YMD"

"-"

N/A

N/A

時刻

"HH:mm:ss"

N/A

N/A

"24HOUR"

":"

タイムスタンプ

"yyyy-MM-dd HH:mm:ss"

"YMD"

"-"

"24HOUR"

":"