tExasolBulkExecの標準プロパティ - Cloud - 8.0

EXASolution

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > DBコンポーネント > Exasol
データガバナンス > サードパーティーシステム > DBコンポーネント > Exasol
データクオリティとプレパレーション > サードパーティーシステム > DBコンポーネント > Exasol

このプロパティはStandardジョブフレームワークで実行されているtExasolBulkExecを設定するために使います。

[Standard] (標準)tExasolBulkExecコンポーネントは、データベースファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのTalend製品で利用できます。

基本設定

[Use an existing connection] (既存の接続を使用)

このチェックボックスをオンにして、表示されたリストから、定義済みの接続詳細を再利用する、該当する接続コンポーネントを選択します。

注: ジョブに親ジョブと子ジョブが含まれている時は、親ジョブと子ジョブの間の既存の接続を共有したい場合(たとえば、親ジョブで作成した接続を子ジョブと共有するなど)には、次のように実行します。
  1. 親レベルで、共有するデータベース接続を、そのデータベース接続そのものを作成する接続コンポーネントの[Basic settings] (基本設定)ビューに登録します。
  2. 子レベルで、登録済みのそのデータベース接続を読み取るために専用の接続コンポーネントを使用します。

ジョブレベルをまたがってデータベース接続を共有する方法の例は、 Talend Studio ユーザーガイドをご覧ください。

[Property Type] (プロパティタイプ)

[Built-in] (組み込み)または[Repository] (リポジトリー)で次の設定を行います。

  • [Built-In] (組み込み): プロパティデータは一元的には保存されません。

  • [Repository] (リポジトリー): プロパティが保管されるリポジトリーファイルを選択します。続くデータベース接続フィールドは、取得されたデータを使用して自動的に入力されます。

Host (ホスト)

Exasolデータベースサーバーのホストまたはホストリストを入力します。Exasolはクラスター環境で実行できます。有効な値は、シンプルなIPアドレス(172.16.173.128など)、IP範囲のリスト(172.16.173.128172.16.173.129172.16.173.130という3つのサーバーを表す172.16.173.128..130など)、Exasolデータベースクラスターのカンマで区切られたホストのリスト(server1,server2,server3など)のいずれかとなります。

[Port] (ポート)

Exasolデータベースクラスターのリスニングポート番号を入力します。

[Schema] (スキーマ)

使うスキーマの名前を入力します。

[User] (ユーザー)および[Password] (パスワード)

Exasolデータベースにアクセスするためのユーザー認証データを入力します。

パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

[Table] (テーブル)

書き込むテーブルの名前を入力します。

注: 通常、テーブル名は大文字で保管されます。大文字と小文字が混在する識別子が必要な場合は、名前を二重引用符で囲む必要があります。たとえば、 "\"TEST_data_LOAD\""のように入力します。

テーブルでのアクション

インポートを実行する前に、定義済みのテーブルで、次のオペレーションの1つを実行できます。

  • [None] (なし): 実行されるオペレーションはありません。

  • [Drop and create table] (ドロップしてテーブルを作成): テーブルが削除され、再作成されます。

  • [Create table] (テーブルを作成): テーブルが存在しないため、作成します。

  • [Create table if not exists] (存在しない場合はテーブルを作成): テーブルが存在しない場合は作成されます。

  • [Truncate table] (テーブルを切り詰める): テーブルの内容が削除されます。操作をロールバックすることはできません。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

  • [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

  • [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

注: スキーマ内のカラムは、CSVファイル内のカラムと同じ順序である必要があります。ユースケースまたはテーブル定義で必要とされていない限り、定義されたテーブルのすべてのカラムを埋める必要はありません。

 

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

  • [View schema] (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

    変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

詳細設定

[Additional JDBC Parameters] (追加のJDBCパラメーター)

作成するデータベース接続に接続の追加プロパティを指定します。プロパティはセミコロンで区切られ、各プロパティはキー/値ペアです。たとえば、encryption=1;clientname=Talendになります。

このフィールドは、[Use an existing connection] (既存の接続を使用)チェックボックスがオンになっている場合は利用できません。

[Column Formats] (カラム形式)

デフォルトを適用できない場合は、日付および数値カラムの形式を指定します。

  • [Column] (カラム): このカラムのセルには、定義済みのスキーマカラム名が自動的に入力されます。

  • [Has Thousand Delimiters] (千の区切り文字がある): ファイル内の対応する数値カラム(数値カラムのみ)の値に1000個の区切り文字が含まれている場合は、このチェックボックスをオンにします。

  • [Alternative Format] (代替フォーマット): 特別な形式が予想される場合は、必要な形式を文字列値として指定します。必要なフォーマットは、スキーマのカラムの長さと精度から作成されます。フォーマットモデルの詳細は、EXASol User Manualをご覧ください。

[Source table columns] (ソーステーブルカラム)

ソースがデータベースの場合は、このテーブルのソースカラムとターゲットカラムの間のマッピングを構成します。

具体的なマッピングの設定はオプションです。ここで何も設定しない場合、ソーステーブルはターゲットテーブルと同じ構造であると見なされます。

  • [Column] (カラム): ターゲットテーブルのスキーマカラム。

  • [Source column name] (ソースカラム名): ソーステーブルのカラムの名前。

[Column Separator] (カラム区切り)

ローカルファイルの行のカラムの区切りを入力します。

カラム区切り

ローカルファイルのフィールドコンテンツをカプセル化する区切りを入力します。

[Row Separator] (行区切り)

ローカルファイルの行を区切るために使う文字を入力します。

[Null representation] (Null表記)

ローカルファイルのNULL値を表す文字列を入力します。指定しない場合、NULL値は空の文字列として表されます。

[Skip rows] (行をスキップ)

除外する行数(たとえば、ヘッダーやその他のプレフィックス行)を入力します。

[Encoding] (エンコーディング)

ローカルファイルで使用されている文字セットを入力します。デフォルトでは、8180となっています。

[Trim column values] (カラム値の長さを調整)

CSVカラムの境界でスペースを削除するかどうかを指定します。

  • [No trim] (トリムなし): スペースは削除されません。

  • [Trim] (トリム): 左側と右側の両方のスペースがトリミングされます。

  • [Trim only left] (左のみトリミング): 左側のスペースのみが削除されます。

  • [Trim only rlght] (右のみトリミング): 右側のスペースのみが削除されます。

[Default Date Format] (デフォルトの日付形式)

日時値の形式を指定します。デフォルトでは、YYYY-MM-DDです。

[Default Timestamp Format] (デフォルトのタイムスタンプ形式)

使うタイムスタンプ形式を指定します。デフォルトでは、YYYY-MM-DD HH24:MI:SS.FF3です。

[Thousands Separator] (桁区切り)

数値テキスト値で、千のグループを区切るために使う文字を指定します。数値形式では、文字はプレースホルダーGに適用されます。テキスト値にこの文字が含まれている場合は、 [Column Formats] (カラムフォーマット)テーブルでも設定する必要があります。

この設定は、数値を表すために使われる小数点とグループ文字を定義する接続のプロパティNLS_NUMERIC_CHARACTERSに影響を与えます。

[Decimal Separator] (小数点区切り文字)

数値の整数部分と分数を区切るために使う文字を指定します。数値形式では、文字はプレースホルダー Dに適用されます。

この設定は、数値を表すために使われる小数点とグループ文字を定義する接続のプロパティNLS_NUMERIC_CHARACTERSに影響を与えます。

[Minimal number errors to reject the transfer] (転送を拒否する最小番号エラー)

データのロードプロセス中に許可される無効な行の最大数を指定します。たとえば、値2は、3番目のエラーが発生した場合にロードプロセスが停止することを意味します。

[Log Error Destination] (エラーの宛先を記録)

エラーメッセージを保管する場所を指定します。

  • [No Logging] (ロギングなし): エラーメッセージは保存されません。

  • [Local Log File] (ローカルログファイル): エラーメッセージは指定されたローカルファイルに保存されます。

    • [Local Error Log File] (ローカルエラーログファイル): エラーメッセージを保管するローカルファイルへのパスを指定します。

    • [Add current timestamp to log file name (before extension)](現在のタイムスタンプをログファイル名に追加(拡張子の前)): 同じファイルを複数回使用する場合に備えて、識別上の理由からファイル名の拡張子の前に現在のタイムスタンプを追加するには、このチェックボックスをオンにします。

  • [Logging Table] (ロギングテーブル): エラーメッセージは指定されたテーブルに保存されます。テーブルが存在しない場合は作成されます。

    • [Error Log Table] (エラーログテーブル): エラーメッセージを保管するテーブルの名前を入力します。

    • [Use current timestamp to build log table] (現在のタイムスタンプを使用してログテーブルを作成する): 同じテーブルを複数回使用する場合に備えて、識別の理由で現在のタイムスタンプを使ってログテーブルを作成するには、このチェックボックスをオンにします。

[Transfer files secure] (ファイルを安全に転送)

HTTPではなくHTTPSでファイルを転送するには、このチェックボックスをオンにします。

[Test mode (no statements are executed)] (テストモード(ステートメントは実行されません))

このチェックボックスをオンにすると、コンポーネントがテストモードで実行され、ステートメントは実行されません。

[Use precision and length from schema] (スキーマの精度と長さを使用)

このチェックボックスをオンにすると、数値型(つまり、 [Double] (倍数)[Float] (浮動小数点)BigDecimal[Integer] (整数)[Long] (長整数)、および[Short] (短整数))のカラム値を、 スキーマ内の[Length] (長さ)設定(整数桁数を設定)および[Precision] (精度)設定(設定スキーマの10進数の数)に照らしてチェックできます。[Length] (長さ)の設定と[Precision] (精度)の設定よりも大きい整数の桁数も小数の桁数も持たない値のみが読み込まれます。

たとえば、 [Length] (長さ)4に設定し、[Precision] (精度)3に設定すると、値8888.8888および88888.888は削除され、値8888.88および888.888がロードされます。

[tStatCatcher Statistics] (tStatCatcher統計情報)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

[Global Variables] (グローバル変数)

NB_LINE_INSERTED: 挿入された行の数。これはAfter変数で、整数を返します。

NB_LINE_DELETED: 削除された行の数。これはAfter変数で、整数を返します。

FILENAME: 処理されたファイルの名前。これはAfter変数で、文字列を返します。

ERROR_LOG_FILE: ローカルログファイルのパス。これはAfter変数で、文字列を返します。

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー時強制終了)がオフになっている場合のみ機能します。

Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + スペースを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、 Talend Studio ユーザーガイドをご覧ください。

使用方法

使用ルール

このコンポーネントは通常、スタンドアロンコンポーネントとして使われます。

[Dynamic settings] (ダイナミック設定)

[+]ボタンをクリックしてテーブルに行を追加し、[Code] (コード)フィールドにコンテキスト変数を入力して、ジョブ内で計画した複数の接続からデータベース接続をダイナミックに選択します。この機能は、データ構造が同じでデータベースが異なるデータベーステーブルにアクセスする必要がある場合、特に、Talend Studioを介さずにジョブをデプロイおよび実行する必要がある時など、ジョブの設定を変更できない環境で作業している場合に役立ちます。

[Dynamic settings] (ダイナミック設定)テーブルは、[Basic settings] (基本設定)ビューで[Use an existing connection] (既存の接続を使用)チェックボックスがオンになっている場合のみ利用できます。ダイナミックパラメーターを定義すると、[Basic settings] (基本設定)ビューの[Component List] (コンポーネントリスト)ボックスは利用できなくなります。

動的パラメーターの使用サンプルは、コンテキストベースの動的接続によるデータベースからのデータの読み取りおよび動的に読み込まれた接続パラメーターを使用した異なるMySQLデータベースからのデータの読み取りをご覧ください。[Dynamic settings] (ダイナミック設定)とコンテキスト変数については、Talend Studioユーザーガイドをご覧ください。