tAzureSynapseBulkExecの標準プロパティ

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

• [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続のプロパティ値を手動で指定する必要があります。

• [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。このチェックボックスの横にある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーのコンテンツ)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

[Use an existing connection] (既存の接続を使用)

定義済みの接続の詳細を再利用する場合は、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。

ジョブに親ジョブと子ジョブが含まれている時は、2つのレベルの間の既存の接続を共有する必要がな場合(たとえば、親ジョブで作成した接続を子ジョブと共有するなど)には、以下を実行する必要があります。

1. 親レベルで、共有するデータベース接続を、そのデータベース接続そのものを作成する接続コンポーネントの[Basic settings] (基本設定)ビューに登録します。

2. 子レベルで、登録済みのそのデータベース接続を読み取るために専用の接続コンポーネントを使用します。

ジョブレベル全体でデータベース接続を共有する方法の例は、Studio Talendユーザーガイドをご覧ください。

[JDBC Provider] (JDBCプロバイダー)

使うJDBCドライバーのプロバイダーを選択します。

[Host] (ホスト)

使うデータベースサーバーかAzure Synapse AnalyticsのIPアドレスまたはホスト名を指定します。

サーバーが存在するマシンでSQL Server Browserサービスが実行中である場合は、このフィールドにホスト名とインスタンス名を{host_name}\{instance_name}という形式で指定すれば、TCPダイナミックポートを通じてネームドインスタンスに接続できるようになります。この場合は[Port] (ポート)フィールドを空白のまましておきます。関連情報は、SQL Server Browser serviceをご覧ください。

[Port] (ポート)

使うデータベースサーバーかAzure Synapse Analyticsのリスニングポート番号を入力します。

サーバーが存在するマシンでSQL Server Browserサービスが実行中である場合は、[Host] (ホスト)フィールドにホスト名とインスタンス名を入力し、このフィールドを空にしておけば、TCPダイナミックポートを通じてネームドインスタンスに接続できるようになります。関連情報は、SQL Server Browser serviceをご覧ください。

[Schema] (スキーマ)

Azure Synapse Analyticsスキーマの名前を入力します。

[Database] (データベース)

使うAzure Synapse Analyticsの名前を指定します。

[Username] (ユーザー名)と[Password] (パスワード)

認証データを入力します。

パスワードを入力するためには、[Password] (パスワード)フィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。

[Additional JDBC Parameters] (追加のJDBCパラメーター)フィールドにintegratedSecurity=trueを追加し、これら2つのフィールドを空にしておけば、Windowsで[Type 2 integrated authentication] (タイプ2のインテグレーション認証)を使用できるようになります。関連情報は、Building the connection URLでConnecting with integrated authentication On Windowsというセクションをご覧ください。

[Additional JDBC Parameters] (追加のJDBCパラメーター)

作成するデータベース接続に接続の追加プロパティを指定します。プロパティはセミコロンで区切られ、各プロパティはキー-値ペアです。たとえばAzure SQLデータベース接続の場合は、encrypt=true;trustServerCertificate=false; hostNameInCertificate=*.database.windows.net;loginTimeout=30;となります。

データがロードされるSQL Data Warehouseテーブルの名前を指定します。

定義されたテーブルに対して実行する操作を選択します。

• [None] (なし): 操作は行われません。

• [Drop and create table] (ドロップしてテーブルを作成): テーブルが削除され、再作成されます。

• [Create table] (テーブルを作成): テーブルが存在しないため、作成されます。

• [Create table if not exists] (テーブルが存在しない場合は作成): テーブルが存在しない場合は作成されます。

• [Drop table if exist and create] (テーブルが存在する場合はドロップして作成): テーブルが既に存在する場合は削除されて再作成されます。

• [Clear table] (テーブルをクリア): テーブルのコンテンツが削除されます。この操作はロールバックできます。

• [Truncate table] (テーブルを切り詰め): テーブルのコンテンツが削除されます。この操作はロールバックできません。

[Schema] (スキーマ)と[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

• [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

• [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

• [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

• [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

• [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Load method] (ロード方法)

データをロードする方法を設定するために使われます。CopyとPloyBaseの2つのオプションが提供されています。関連情報は、Synapse SQLプールのデータロード戦略をご覧ください。

データをロードするAzure Storageのタイプを選択します。Blob Storage、Data Lake Storage Gen1、またはData Lake Storage Gen2を選択できます。[Load method] (ロード方法)ドロップダウンリストでCopy が選択されている場合、Data Lake Storage Gen1オプションは利用できません。

[Authentication method] (認証方式)

このオプションは、[Load Method] (ロード方法)ドロップダウンリストから、Copyが選択されている場合のみ利用できます。

アクセスするAzure Blob StorageまたはAzure Data Lake Storageのアカウント名を入力します。

アクセスする必要のあるストレージアカウントに関連付けられたキーを入力します。どのアカウントでも利用できるキーが2つあり、このアクセスにはデフォルトでどちらのキーも使用できます。ドロップダウンリストから、Azure Storageへの接続を設定するために接続の詳細を使用するコンポーネントを選択します。

これらのプロパティは、[Azure Storage] (Azure Storage)ドロップダウンリストでBlob Storageが選択されている場合のみ利用できます。

[SAS token] (SASトークン)

SASトークンの値を入力します。関連情報は、Constructing the Account SAS URIをご覧ください。このオプションは、[Authentication method] (認証方式)ドロップダウンリストの[Shared access signatures] (共有アクセス署名)オプションでのみ利用できます。

[Endpoint suffix] (エンドポイントサフィックス)

Azure Storageのサービスエンドポイントを入力します。

アカウント名とAzure Storageサービスエンドポイントの組み合わせにより、ストレージアカウントのエンドポイントが形成されます。

デフォルト値は、[Azure Storage] (Azure Storage)の設定に応じて異なります。Data Lake Storage Gen2の場合は"dfs.core.windows.net"、Blob Storageの場合は"blob.core.windows.net"です。

このフィールドは、[Load Method] (ロード方法)ドロップダウンリストの[Copy] (コピー)オプションでのみ利用できます。

blobコンテナーの名前を入力します。

これらのプロパティは、[Azure Storage] (Azure Storage)ドロップダウンリストでBlob Storageが選択されている場合のみ利用できます。

[External paths] (外部パス)

データの読み取り元の外部パスを入力します。下部の[+]ボタンをクリックして、複数の外部パスを追加できます。外部パスはコンテナーをルートとする相対パスです。

このフィールドは、[Basic settings] (基本設定)ビューで[Load method] (ロード方法)ドロップダウンリストから、[Copy] (コピー)が選択されている場合のみ利用できます。

アプリケーションID (別名クライアントID)を入力します。

これらのプロパティは、[Azure Storage] (Azure Storage)ドロップダウンリストでData Lake Storage Gen1が選択されている場合のみ利用できます。

[Token endpoint] (トークンエンドポイント)フィールドで、Azureポータルの[App registrations] (アプリの登録)ページの[Endpoints] (エンドポイント)リストから取得できるOAuth 2.0トークンエンドポイントをコピーして貼り付けます。

これらのプロパティは、[Azure Storage] (Azure Storage)ドロップダウンリストでData Lake Storage Gen1が選択されている場合のみ利用できます。

Azure Blob StorageまたはAzure Data Lakeストレージアカウントが作成されている場所を指定します。

[Secure transfer required] (安全な転送が必要)

Azure Storage接続に安全な転送を使うには、このオプションを選択します。

このオプションは、[Basic settings] (基本設定)ビューの[Azure Storage] (Azure Storage)ドロップダウンリストでData Lake Storage Gen2を選択し、[Load method] (ロード方法)ドロップダウンリストでPolyBaseを選択した場合に利用できます。

[Authenticate using Azure Active Directory] (Azure Active Directoryを使って認証)

このオプションを選択すると、接続を確立する時にAzure Active Directory認証を使用できます。関連情報は、Azure AD Authenticationをご覧ください。

Azure BlobストレージまたはAzure Data Lakeストレージに保管されている外部データを定義するファイル形式、Delimited Text、Hive RCFile、Hive ORC、または Parquetを選択します。

このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPolyBaseを選択した場合のみ利用できます。

ファイル形式の詳細は、CREATE EXTERNAL FILE FORMATをご覧ください。

Azure BlobストレージまたはAzure Data Lakeストレージに保管されている外部データを定義するフィルタータイプ、CSV、ORCまたは Parquetを選択します。

このフィールドは、[Basic settings] (基本設定)ビューで[Load method] (ロード方法)ドロップダウンリストから、[Copy] (コピー)が選択されている場合のみ利用できます。

ファイル形式の詳細は、CREATE EXTERNAL FILE FORMATをご覧ください。

[Specify map to source table fields] (ソーステーブルフィールドにマップを指定)

このオプションを選択して、表示されるテーブルにスキーマカラムとフィールドインデックスを入力して、ソースファイルのフィールドを特定のスキーマカラムにマッピングします。ソースファイルのフィールドインデックスは、テーブル内で昇順に指定する必要があります。

このオプションが選択されていない場合、ソースファイルのフィールドは、デフォルトの順序でスキーマカラムにマップされます。

このフィールドは、[Basic settings] (基本設定)ビューで[Load method] (ロード方法)ドロップダウンリストから、[Copy] (コピー)が選択されている場合のみ利用できます。

[First row] (最初の行)

ヘッダーとして処理するソースファイルの行数を設定するために使われます。デフォルトは1です。

このフィールドは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから、[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVオプションが選択されている場合のみ利用できます。

ソースファイルで引用文字(文字列の区切り)として使われる文字を指定します。

このフィールドは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから、[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVオプションが選択されている場合のみ利用できます。

ソースファイルの各フィールドの終わりを示すフィールドターミネーターを指定します。

このフィールドは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから、[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVオプションが選択されている場合のみ利用できます。

ソースファイルの各行の終わりを示す行ターミネーターを指定します。

このフィールドは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから、[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVオプションが選択されている場合のみ利用できます。

日付形式を指定します。デフォルトは[Session date format] (セッション日付形式)です。

このフィールドは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから、[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVオプションが選択されている場合のみ利用できます。

リストからエンコーディングを選択します(UTF8またはUTF16)。

このフィールドは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから、[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVオプションが選択されている場合のみ利用できます。

[Identity insert] (ID挿入)

ソースファイルのID値をIDカラムに挿入するには、このオプションを選択します。関連情報は、COPY (Transact-SQL)をご覧ください。

このフィールドは、[Basic settings] (基本設定)ビューで[Load method] (ロード方法)ドロップダウンリストから、[Copy] (コピー)が選択されている場合のみ利用できます。

[Max errors] (最大エラー数)

プロセスを停止しない、許可される最大エラー数を入力します。

このフィールドは、[Basic settings] (基本設定)ビューで[Load method] (ロード方法)ドロップダウンリストから、[Copy] (コピー)が選択されている場合のみ利用できます。

区切り付きテキストファイルの各フィールドの終わりを示す文字を指定します。

このプロパティは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPoly Baseを選択し、[File format] (ファイルフォーマット)ドロップダウンリストでDelimited Textを選択した場合に利用できます。

このチェックボックスをオンにして、その横のフィールドで、区切り付きファイル内の文字列を囲む文字を指定します。

このプロパティは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPoly Baseを選択し、[File format] (ファイルフォーマット)ドロップダウンリストでDelimited Textを選択した場合に利用できます。

このチェックボックスをオンにし、その横のフィールドで、区切り付きファイル内のすべての日付と時刻のデータのカスタム形式を指定します。日付形式の詳細は、CREATE EXTERNAL FILE FORMATをご覧ください。

このプロパティは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPoly Baseを選択し、[File format] (ファイルフォーマット)ドロップダウンリストでDelimited Textを選択した場合に利用できます。

このチェックボックスをオンにすると、対応するカラムのデータ型のデフォルト値を使って各欠損値が保管されます。

このチェックボックスをオフにすると、区切り付きファイルに欠落している各値がNULLとして保管されます。

このプロパティは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPoly Baseを選択し、[File format] (ファイルフォーマット)ドロップダウンリストでDelimited Textを選択した場合に利用できます。

Hiveシリアライザーとデシリアライザーのメソッドを選択します。

これらのプロパティは、[File format] (ファイルフォーマット)ドロップダウンリストでHive RCFileが選択されている場合のみ利用できます。

外部データが圧縮されている場合は、このチェックボックスをオンにし、横に表示されるドロップダウンリストから圧縮方式を選択します。

このチェックボックスをオンにして、次のリジェクトオプションを指定します。

• [Reject type] (リジェクトタイプ): リジェクト行の処理方法を指定します。

  • [Value] (値): リジェクト行の数が[Reject value] (リジェクト値)フィールドで指定した値を超えると、ロードは失敗します。
  • [Percentage] (パーセンテージ): リジェクト行のパーセンテージが[Reject value] (リジェクト値)フィールドで指定した値を超えると、ロードは失敗します。

• [Reject value] (リジェクト値): リジェクトタイプに応じたリジェクト値。パーセンテージの場合は、%記号なしのパーセント値です。

• [Reject sample value] (サンプル値をリジェクト): リジェクトパーセンテージのサンプル値。

このフィールドは、[Load Method] (ロード方法)ドロップダウンリストの[Copy] (コピー)オプションでのみ利用できます。

リジェクトオプションの詳細は、CREATE EXTERNAL TABLEをご覧ください。

テーブル内のデータの分散に使われるシャーディングパターン、Round Robin、Hash、またはReplicateを選択します。Azure Synapse Analyticsでサポートされているシャーディングパターンの詳細は、Azure Synapse Analytics - Massively parallel processing (MPP) architectureをご覧ください。

これらのプロパティは、[Action on table] (テーブルでのアクション)ドロップダウンリストでテーブル作成に関連するどのオプションを選択した時にも利用できます。

ハッシュディストリビューションテーブルのディストリビューションカラムの名前。

これらのプロパティは、[Distribution Option] (ディストリビューションオプション)ドロップダウンリストでHashが選択されている場合のみ利用できます。

テーブルのインデックスタイプ(Clustered Columnstore Index、Heap、またはClustered Index)を選択します。詳細は、Indexing tables in Synapse SQL poolをご覧ください。

これらのプロパティは、[Action on table] (テーブルでのアクション)ドロップダウンリストでテーブル作成に関連するどのオプションを選択した時にも利用できます。

インデックス内の1つ以上のキーカラムの名前を指定します。複数のカラムを指定する場合は、コンマで区切ります。

これらのプロパティは、[Table Option] (テーブルオプション)ドロップダウンリストでClustered Indexが選択されている場合のみ利用できます。

このチェックボックスをオンにして、次のパターンオプションを指定します。

• [Partition column name] (パーティションカラム名): テーブルを分割するために使うカラムの名前を指定します。

• [Range] (範囲): 制限の範囲に制限値を含める方法を指定します。

  • [Left] (左): 制限値は、制限の左側の範囲に含まれます。

  • [Right] (右): 限界値は、制限の右側に含まれます。

• [Partition For Values] (値のパーティション): パーティションに使う値(コンマ区切り)を指定します。

テーブルパターンの詳細は、Partitioning tables in Synapse SQL poolをご覧ください。

これらのプロパティは、[Action on table] (テーブルでのアクション)ドロップダウンリストでテーブル作成に関連するどのオプションを選択した時にも利用できます。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスを選択すると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

NB_LINE_INSERTED

挿入された行数。これはAfter変数で、整数を返します。

使用ルール

このコンポーネントは、ジョブやサブジョブのスタンドアロンコンポーネントとして使用できます。

制限事項

他のデータベースでサポートされている機能でも、Azure Synapse Analyticsではサポートされていないものもあります。詳細については、サポートされていないテーブル機能をご覧ください。