tMemSQLOutputの標準プロパティ - 7.3

MemSQL

Version
7.3
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > DBコンポーネント > MemSQL
データガバナンス > サードパーティーシステム > DBコンポーネント > MemSQL
データクオリティとプレパレーション > サードパーティーシステム > DBコンポーネント > MemSQL
Last publication date
2024-02-22

これらのプロパティは、標準ジョブのフレームワークで実行されているtMemSQLOutputを設定するために使われます。

標準tMemSQLOutputコンポーネントは、ビッグデータファミリーとデータベースファミリーに属しています。

このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで利用できます。

注: このコンポーネントは、動的データベースコネクターの特定のバージョンです。データベース設定に関連するプロパティは、データベースタイプの選択に応じて異なります。動的データベースコネクターについては、動的データベースコンポーネントをご覧ください。

基本設定

[Database] (データベース)

データベースのタイプをリストから選択し、[Apply] (適用)をクリックします。

[Property type] (プロパティタイプ)

[Built-in] (組み込み)[Repository] (リポジトリー)のいずれかです。

 

[Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。

 

[Repository] (リポジトリー): プロパティが保管されるリポジトリーファイルを選択します。後続フィールドは、取得されたデータを使用して自動的に入力されます。

[Use an existing connection] (既存の接続を使用)

定義済みの接続の詳細を再利用する場合は、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。

注: ジョブに親ジョブと子ジョブが含まれている時は、2つのレベルの間の既存の接続を共有する必要がな場合(たとえば、親ジョブで作成した接続を子ジョブと共有するなど)には、以下を実行する必要があります。
  1. 親レベルで、共有するデータベース接続を、そのデータベース接続そのものを作成する接続コンポーネントの[Basic settings] (基本設定)ビューに登録します。

  2. 子レベルで、登録済みのそのデータベース接続を読み取るために専用の接続コンポーネントを使用します。

ジョブレベル全体でデータベース接続を共有する方法の例は、Talend Studioユーザーガイドをご覧ください。

[Host] (ホスト)

使用するMemSQLデータベースのサーバーの場所を入力します。

[Port] (ポート)

データベースサーバーのリスニングポート番号を入力します。

[Database] (データベース)

使用するMemSQLデータベースの名前を入力します。

[Username] (ユーザー名)[Password] (パスワード)

使用するデータベースに接続するためのユーザー認証データを入力します。

[Table] (テーブル)

書き込むテーブルの名前を入力します。一度に書き込みができるテーブルは1つだけです。

[Action on table] (テーブルでのアクション)

定義済みのテーブルで、次のオペレーションの1つを実行できます。

[None] (なし): 操作は行われません。

[Drop and create a table] (ドロップしてテーブルを作成): テーブルが削除され、再び作成されます。

[Create a table] (テーブルを作成): テーブルが存在しないため、作成されます。

[Create a table if not exists] (テーブルが存在しない場合は作成): テーブルが存在しない場合は作成されます。

[Drop a table if exists and create] (テーブルが存在する場合はドロップして作成): テーブルが既に存在する場合は削除されて再作成されます。

[Clear a table] (テーブルをクリア): テーブルのコンテンツが削除されます。

[Action on data] (データでのアクション)

定義されたテーブルのデータで実行できる操作は次のとおりです。

[Insert] (挿入): テーブルに新しいエントリーを追加します。重複が見つかると、ジョブは停止します。

[Update] (アップデート): 既存のエントリーが変更されます。

[Insert or update] (挿入またはアップデート): 新しいレコードを挿入します。指定された参照を持つレコードが既に存在する場合は、アップデートされます。

[Update or insert] (アップデートまたは挿入): 指定された参照を使用してレコードをアップデートします。レコードが存在しない場合は、新しいレコードが挿入されます。

[Delete] (削除): 入力フローに対応するエントリーを削除します。

警告:

[Update] (アップデート)操作と[Delete] (削除)操作のベースとなるプライマリキーとして、少なくとも1つのカラムを指定する必要があります。それには、[Edit Schema] (スキーマを編集)をクリックし、プライマリキーに指定するカラムの横にあるチェックボックスをオンにします。高度な設定を行う場合は、[Advanced settings] (詳細設定)ビューをクリックして、アップデート操作と削除操作のプライマリキーを同時に定義できます。これを設定するには、以下のようにします:[Use field options] (フィールドオプションの使用)チェックボックスをオンにし、[Key in update column] (アップデートカラムの入力)で、アップデート操作のベースとするカラム名の横にあるチェックボックスをオンにします。削除操作についても、[Key in delete column] (削除カラムのキー)で同じ手順を実行します。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

このコンポーネントは、ダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、Talend Studioユーザーガイドをご覧ください。

このダイナミックスキーマ機能は、テーブルの不明なカラムを取得する目的で設計されており、この目的に限り使用をお勧めします。テーブルの作成で使用することは勧められていません。

 

[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

 

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

再使用するスキーマに整数またはファンクションのデフォルト値が指定されている場合は、これらのデフォルト値を引用符で囲まないようにご注意ください。引用符で囲まれている場合は手動で削除します。

詳細は、Talend Studioユーザーガイドでテーブルスキーマに関連する説明をご覧ください。

 

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

  • [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Die on error] (エラー発生時に強制終了)

このチェックボックスはデフォルトでオフになっています。そのため、エラーの発生した行をスキップし、エラーが発生していない行のプロセスを完了できます。

詳細設定

[Additional JDBC parameters] (追加のJDBCパラメーター)

作成するデータベース接続の接続の追加プロパティを指定します。このオプションは、[Basic settings] (基本設定)[Use an existing connection] (既存の接続を使用)チェックボックスがオンになっている場合は利用できません。

注:

事前定義済みのグローバル変数のリストにアクセスするには、[Ctrl] + [Space]を押します。

[Use batch size] (バッチサイズを使用)

このチェックボックスをオンにして、データ処理のバッチモードを有効にします。このチェックボックスをオンにすると表示される[Batch Size] (バッチサイズ)フィールドに、処理するバッチサイズを定義するために必要な数を入力できます。

[Additional Columns] (追加のカラム)

このオプションは、データベーステーブルを作成したばかりの時は使用できません(事前に削除した場合でも)。このオプションにより、SQLファンクションを呼び出してカラムにアクションを実行できます。ただし、挿入、更新、削除のアクションでないこと、事前処理を必要とするアクションでないことが条件です。

 

[Name:] (名前:)変更または挿入するスキーマカラムの名前を入力します。

 

[SQL expression:] (SQL式)対応するカラム内のデータを変更する、またはカラム内にデータを挿入するために実行するSQLステートメントを入力します。

 

[Position:] (位置:)参照カラムに対して実行されるアクションに応じて、[Before][Replace] (置換)または[After] (実行後)を選択します。

 

[Reference column] (参照カラム): 新しいカラム、または変更するカラムを探すか、または置換するためにtMemSQLOutputが使用できる参照カラムを入力します。

[Use field options] (フィールドオプションの使用)

リクエストをカスタマイズする場合、特に、データに対して複数のアクションが実行される場合に、このチェックボックスをオンにします。

[Enable debug mode] (デバッグモードを有効にする)

データをデータベースに書き込むプロセスの各ステップを表示するには、このチェックボックスをオンにします。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、コンポーネントレベルでログデータを収集できます。

グローバル変数

グローバル変数

NB_LINE: 入力コンポーネントによって読み取られた行の数、または出力コンポーネントに転送された行の数。これはAfter変数で、整数を返します。

NB_LINE_UPDATED: アップデートされた行の数。これはAfter変数で、整数を返します。

NB_LINE_INSERTED: 挿入された行の数。これはAfter変数で、整数を返します。

NB_LINE_DELETED: 削除された行の数。これはAfter変数で、整数を返します。

NB_LINE_REJECTED: 拒否された行の数。これはAfter変数で、整数を返します。

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。

フィールドまたは式に変数を入れるには、Ctrl + スペースを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、Talend Studioユーザーガイドをご覧ください。

Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

使用方法

使用ルール

このコンポーネントは、出力コンポーネントとして使用する必要があります。このコンポーネントを使用して、MemSQLデータベース内のテーブルまたはテーブルのデータにアクションを実行できます。

[Dynamic settings] (ダイナミック設定)

[+]ボタンをクリックしてテーブルに行を追加し、[Code] (コード)フィールドにコンテキスト変数を入力して、ジョブ内で計画した複数の接続からデータベース接続をダイナミックに選択します。この機能は、データストラクチャーが同じでデータベースが異なるデータベーステーブルにアクセスする必要がある場合、特に、Talend Studioを介さずにジョブをデプロイおよび実行する必要がある時など、ジョブの設定を変更できない環境で作業している場合に役立ちます。

[Dynamic settings] (ダイナミック設定)テーブルは、[Basic settings] (基本設定)ビューで[Use an existing connection] (既存の接続を使用)チェックボックスがオンになっている場合のみ利用できます。ダイナミックパラメーターを定義すると、[Basic settings] (基本設定)ビューの[Component List] (コンポーネントリスト)ボックスは利用できなくなります。

ダイナミックパラメーターの定義法を示すユースケースについては、コンテキストベースのダイナミック接続によってデータベースからデータを読み取りと、ダイナミックにロードされた接続パラメーターを使って異なるMySQLデータベースからデータを読み取りをご覧ください。[Dynamic settings] (ダイナミック設定)とコンテキスト変数については、Talend Studioユーザーガイドをご覧ください。

制限事項

ライセンスの互換性の問題のため、このコンポーネントの使用に必要な1つ以上のJARが提供されていません。この特定のコンポーネントに不足しているJARをインストールするには、Component (コンポーネント)タブビューの[Install] (インストール)ボタンをクリックします。Studioの Integration パースペクティブの[Modules] (モジュール)タブでも、不足しているすべてのJARを簡単に見つけて追加できます。詳細は、外部モジュールのインストールをご覧ください。外部モジュールをインストールする方法は、Talend Help Center (https://help.talend.com)をご覧ください。