tAzureSynapseOutputの標準プロパティ - 7.3

[Use an existing connection] (既存の接続を使用)

定義済みの接続の詳細を再利用する場合は、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストで目的の接続コンポーネントを選択します。

1. 親レベルで、共有するデータベース接続を、そのデータベース接続そのものを作成する接続コンポーネントの[Basic settings] (基本設定)ビューに登録します。

2. 子レベルで、登録済みのそのデータベース接続を読み取るために専用の接続コンポーネントを使用します。

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

• [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続のプロパティ値を手動で指定する必要があります。

• [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。このチェックボックスの横にある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーの内容)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

[JDBC Provider] (JDBCプロバイダー)

使うJDBCドライバーのプロバイダーを選択します。

[Host] (ホスト)

使うデータベースサーバーかAzure Synapse AnalyticsのIPアドレスまたはホスト名を指定します。

サーバーが存在するマシンでSQL Server Browserサービスが実行中である場合は、このフィールドにホスト名とインスタンス名を{host_name}\{instance_name}という形式で指定すれば、TCPダイナミックポートを通じてネームドインスタンスに接続できるようになります。この場合は[Port] (ポート)フィールドを空白のまましておきます。関連情報は、SQL Server Browser serviceをご覧ください。

[Port] (ポート)

使うデータベースサーバーかAzure Synapse Analyticsのリスニングポート番号を入力します。

サーバーが存在するマシンでSQL Server Browserサービスが実行中である場合は、[Host] (ホスト)フィールドにホスト名とインスタンス名を入力し、このフィールドを空にしておけば、TCPダイナミックポートを通じてネームドインスタンスに接続できるようになります。関連情報は、SQL Server Browser serviceをご覧ください。

[Schema] (スキーマ)

Azure Synapse Analyticsスキーマの名前を入力します。

[Database] (データベース)

使うAzure Synapse Analyticsの名前を指定します。

[Username] (ユーザー名)と[Password] (パスワード)

認証データを入力します。

パスワードを入力するためには、[Password] (パスワード)フィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。

[Additional JDBC Parameters] (追加のJDBCパラメーター)フィールドにintegratedSecurity=trueを追加し、これら2つのフィールドを空にしておけば、Windowsで[Type 2 integrated authentication] (タイプ2のインテグレーション認証)を使用できるようになります。関連情報は、Building the connection URLでConnecting with integrated authentication On Windowsというセクションをご覧ください。

[Table] (テーブル)

使うテーブルの名前を指定します。

[Action on table] (テーブルでのアクション)

定義されたテーブルに対して実行する操作を選択します。

• [Default] (デフォルト): 操作は行われません。

• [Drop and create table] (ドロップしてテーブルを作成): テーブルが削除され、再作成されます。

• [Create table] (テーブルを作成): テーブルが存在しないため、作成されます。

• [Create table if not exists] (テーブルが存在しない場合は作成): テーブルが存在しない場合は作成されます。

• [Drop table if exist and create] (テーブルが存在する場合はドロップして作成): テーブルが既に存在する場合は削除されて再作成されます。

• [Clear table] (テーブルをクリア): テーブルの内容が削除されます。この操作はロールバックできます。

• [Truncate] (切り捨て): テーブルの内容が削除されます。

[Turn on identity insert] (ID挿入をオンにする)

(SQL Serverに次の順次値を選択させるのではなく)挿入されたレコードのID値に独自のシーケンスを使う場合は、このチェックボックスをオンにします。

[Action on data] (データでのアクション)

定義されたテーブルのデータに対して実行する操作を選択します。

• [Insert] (挿入): テーブルに新しいエントリーを追加します。重複が見つかると、ジョブは停止します。

• [Update] (アップデート): 既存のエントリーが変更されます。

  注: スキーマカラムがすべてキーとして設定されている場合は、このアクションによってエラーが発生し、ジョブが失敗します。
• [Insert or update] (挿入またはアップデート): 新しいレコードを挿入します。指定された参照を持つレコードが既に存在する場合は、アップデートされます。

  注: スキーマカラムがすべてキーとして設定されている場合は、このアクションによって警告メッセージが発生し、ジョブが続行されます。
• [Update or insert] (アップデートまたは挿入): 指定された参照を使用してレコードをアップデートします。レコードが存在しない場合は、新しいレコードが挿入されます。

  注: スキーマカラムがすべてキーとして設定されている場合は、このアクションによって警告メッセージが発生し、ジョブが続行されます。

• [Delete] (削除): 入力フローに対応するエントリーを削除します。

• [Insert if not exist] (存在しない場合は挿入): テーブルに新しいエントリーが存在しない場合は追加します。

[Update] (アップデート)操作と[Delete] (削除)操作を行うプライマリキーとして、カラムを少なくとも1つ指定する必要があります。この場合、[Edit Schema] (スキーマを編集)をクリックし、プライマリキーとして設定するカラムの横にあるチェックボックスをオンにします。高度な設定を行う場合は、[Advanced settings] (詳細設定)ビューをクリックして、[Update] (アップデート)操作と[Delete] (削除)操作のプライマリキーを同時に定義できます。この場合、[Use field options] (フィールドオプションを使用)チェックボックスをオンにし、[Key in update column] (アップデートのキーカラム)で、[Update] (アップデート)操作のベースとして使用するカラム名の横にあるチェックボックスをオンにします。[Delete] (削除)操作の[Key in delete column] (削除カラムのキー)でも同じようにします。

ダイナミックスキーマ機能は[Insert] (挿入)、[Update] (アップデート)、[Insert or update] (挿入またはアップデート)、[Update or insert] (アップデートまたは挿入)、および[Delete] (削除)のモードで使用できます。

[Specify identity field] (IDフィールドの指定)

IDフィールドを指定するには、このチェックボックスをオンにします。IDフィールドは自動的に増分するID番号で構成されています。

このチェックボックスをオンにすると、他の3つのフィールドが表示されます。

• [Identity field] (IDフィールド): IDフィールドとして定義するカラムをリストから選択します。

• [Start value] (開始値): テーブルにロードされる最初の行に使う開始値を入力します。

• [Step] (ステップ): ロードされた前の行の値に追加する増分値を入力します。

このチェックボックスは、[Action on table] (テーブルでのアクション)リストで[Drop and create table] (ドロップしてテーブルを作成)、[Create table] (テーブルを作成)、[Create table if not exists] (テーブルが存在しない場合は作成)、または[Drop table if exists and create] (テーブルが存在する場合はドロップして作成)を選択している場合のみ利用できます。このチェックボックスは、[Advanced settings] (詳細設定)ビューで[Enable parallel execution] (並列実行を有効化)チェックボックスをオンにしている場合は表示されません。[Turn on identity insert] (ID挿入をオンにする)チェックボックスがオフの状態で[Action on table] (テーブルでのアクション)リストから[Create table if not exists] (テーブルが存在しない場合は作成)オプションを選択し、このチェックボックスをオンにすると、指定したテーブルが存在しない場合、データが挿入されていないテーブルのみが作成されます。

コンポーネントのスキーマからIDフィールドを指定することもできます。それには、関連するカラムの[DB Type] (DBタイプ)をINT IDENTITYに設定します。

[Specify identity field] (IDフィールドの指定)チェックボックスがオンの場合、スキーマ内のDBタイプINT IDENTITYは無視されます。

[Schema] (スキーマ)と[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

• [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

• [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

• [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

• [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

• [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Specify a data source alias] (データソースエイリアスを指定)

このチェックボックスをオンにして、[Data source alias] (データソースエイリアス)フィールドが表示されたら、データソース設定で定義した共有接続プールを使用するために、 Talend Runtime側で作成したデータソースのエイリアスを指定します。このオプションは、 Talend Runtime内にジョブをデプロイして実行する時にのみ機能します。

このチェックボックスは、[Use an existing Connection] (既存の接続を使用)チェックボックスがオンになっている場合は利用できません。

[Die on error] (エラー発生時に強制終了)

このチェックボックスをオンにすると、エラー発生時にジョブの実行が停止されます。

エラーの発生した行をスキップし、エラーが発生していない行の処理を完了するには、このチェックボックスをオフにします。

[Additional JDBC Parameters] (追加のJDBCパラメーター)

作成するデータベース接続に接続の追加プロパティを指定します。プロパティはセミコロンで区切られ、各プロパティはキー/値ペアです。たとえばAzure SQLデータベース接続の場合は、encrypt=true;trustServerCertificate=false; hostNameInCertificate=*.database.windows.net;loginTimeout=30;となります。

[Authenticate using Azure Active Directory] (Azure Active Directoryを使って認証)

このオプションを選択すると、接続を確立する時にAzure Active Directory認証を使用できます。関連情報は、Azure AD Authenticationをご覧ください。

[Commit every] (コミットする間隔)

ノードのバッチがデータベースにコミットされるまでに完了しているべき行数を入力します。このオプションにより、トランザクションの品質(ロールバックは対象外)が保証され、実行時のパフォーマンスが向上します。

[Additional Columns] (追加のカラム)

このオプションは、データベーステーブルを作成する場合(ドロップありまたはドロップなし)には提供されません。このオプションにより、SQL関数を呼び出してカラムにアクションを実行できます。ただし、挿入、更新、削除のアクションでないこと、特定の事前処理を必要とするアクションでないことが条件です。

• [Name] (名前): 変更するか、新しいカラムとして挿入するスキーマカラムの名前を入力します。

• [SQL expression] (SQL式): 関連するカラムデータを変更または挿入するために実行するSQLステートメントを入力します。

• [Position] (位置): 参照カラムに対して実行されるアクションに従って、[Before] (実行前)、[Replace] (置換)または[After] (実行後)を選択します。

• [Reference column] (参照カラム): 新規または変更されたカラムを配置または置換するために使える参照のカラムを入力します。

[Use field options] (フィールドオプションを使用)

特にデータに二重のアクションがある場合、リクエストをカスタマイズするには、このチェックボックスをオンにします。

[Ignore date out of range] (範囲外の日付を無視)

日付検証を無視して、DATE、DATETIME、DATETIME2、DATETIMEOFFSETのデータ型に対してデータをデータベースに直接挿入するには、このチェックボックスをオンにします。

[Debug query mode] (デバッグクエリーモード)

このチェックボックスをオンにすると、データベースのエントリーの処理中に各ステップが表示されます。

[Support null in "SQL WHERE" statement] ("SQL WHERE"ステートメントでnullをサポート)

データベーステーブルに含まれているNull値を処理する場合は、このチェックボックスをオンにします。

スキーマ内の対応するカラムで[Nullable] (nullを許可)チェックボックスがオンになっていることをご確認ください。

[Use Batch] (バッチを使用)

このチェックボックスをオンにして、データ処理のバッチモードを有効にします。

このチェックボックスは、[Action on data] (データでのアクション)リストで[Insert] (挿入)、[Update] (更新)、[Single Insert Query] (単一挿入クエリー)、または[Delete] (削除)オプションを選択している場合にのみ使えます。

[Action on data] (データでのアクション)リストで[Single Insert Query] (単一挿入クエリー)オプションを選択する場合は、バッチサイズをカラム数で除した数値がJDBCドライバーによって許可されているパラメーターマーカーの上限(一般に2000)を超えないようにご注意ください。詳細は、下記の[Limitation] (制限事項)に記されている関連する説明をご覧ください。

[Batch Size] (バッチサイズ)

各バッチで処理するレコードの数を指定します。

このフィールドは、[Use batch mode] (バッチモードの使用)チェックボックスがオンの場合のみ表示されます。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

[Enable parallel execution] (並列実行を有効化)

並列実行を有効にすると、グローバル変数を使ってサブジョブで戻り値を取得することはできないことにご注意ください。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

NB_LINE

処理された行数。これはAfter変数で、整数を返します。

NB_LINE_UPDATED

アップデートされた行数。これはAfter変数で、整数を返します。

NB_LINE_INSERTED

挿入された行数。これはAfter変数で、整数を返します。

NB_LINE_DELETED

削除された行の数。これはAfter変数で、整数を返します。

NB_LINE_REJECTED

リジェクトされた行数。これはAfter変数で、整数を返します。

使用ルール

このコンポーネントは通常、ジョブまたはサブジョブの終了コンポーネントとして使い、常に入力リンクが必要です。

[Dynamic settings] (ダイナミック設定)

[+]ボタンをクリックしてテーブルに行を追加し、[Code] (コード)フィールドにコンテキスト変数を入力して、ジョブ内で計画した複数の接続からデータベース接続をダイナミックに選択します。この機能は、データストラクチャーが同じでデータベースが異なるデータベーステーブルにアクセスする必要がある場合、特に、Talend Studioを介さずにジョブをデプロイおよび実行する必要がある時など、ジョブの設定を変更できない環境で作業している場合に役立ちます。

[Dynamic settings] (ダイナミック設定)テーブルは、[Basic settings] (基本設定)ビューで[Use an existing connection] (既存の接続を使用)チェックボックスがオンになっている場合のみ利用できます。ダイナミックパラメーターを定義すると、[Basic settings] (基本設定)ビューの[Component List] (コンポーネントリスト)ボックスは利用できなくなります。

動的パラメーターの使用サンプルは、コンテキストベースの動的接続によるデータベースからのデータの読み取りおよび動的に読み取られた接続パラメーターを使用した異なるMySQLデータベースからのデータの読み取りをご覧ください。[Dynamic settings] (ダイナミック設定)とコンテキスト変数については、Talend Studioユーザーガイドをご覧ください。

[Action on data] (データでのアクション)リストで[Single Insert Query] (単一挿入クエリー)オプションが選択されている場合は、SQLの準備されたステートメントが生成されます。例: INSERT INTO table (col1, col2, col3) VALUES (?,?,?) , (?,?,?) , (?,?,?) ,(?,?,?)。括弧内は数が2000を超えることができないパラメーターのグループです。これは一般に、JBDCドライバーによって左右されます。したがって、バッチサイズはこの制限を守って設定する必要があります。

他のデータベースでサポートされている機能でも、Azure Synapse Analyticsではサポートされていないものもあります。詳細については、サポートされていないテーブル機能をご覧ください。

また、このコンポーネントでテーブルを作成または削除する時は、tAzureSynapseCommitコンポーネントを使うのでなく、tAzureSynapseConnectionコンポーネントによって作成されたデータベース接続を再利用し、tAzureSynapseConnectionコンポーネントの[Advanced settings] (詳細設定)ビューで[Auto Commit] (自動コミット)チェックボックスをオンにして、自動コミット機能を使うことをお勧めします。