メイン コンテンツをスキップする 補完的コンテンツへスキップ

tAzureSynapseBulkExecの標準プロパティ

これらのプロパティは、標準ジョブのフレームワークで実行されているtAzureSynapseBulkExecを設定するために使われます。

標準tAzureSynapseBulkExecコンポーネントは、Cloudファミリーとデータベースファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。

基本設定

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

  • [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続のプロパティ値を手動で指定する必要があります。

  • [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。

    このチェックボックスの横にある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーのコンテンツ)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

[Use an existing connection] (既存の接続を使用)

定義済みの接続の詳細を再利用する場合は、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。

ジョブに親ジョブと子ジョブが含まれている時は、2つのレベルの間の既存の接続を共有する必要がな場合(たとえば、親ジョブで作成した接続を子ジョブと共有するなど)には、以下を実行する必要があります。

  1. 親レベルで、共有するデータベース接続を、そのデータベース接続そのものを作成する接続コンポーネントの[Basic settings] (基本設定)ビューに登録します。

  2. 子レベルで、登録済みのそのデータベース接続を読み取るために専用の接続コンポーネントを使用します。

ジョブレベル全体でデータベース接続を共有する方法の例は、データベース接続を共有をご覧ください。

[JDBC Provider] (JDBCプロバイダー)

使うJDBCドライバーのプロバイダーを選択します。

[Host] (ホスト)

使うデータベースサーバーかAzure Synapse AnalyticsのIPアドレスまたはホスト名を指定します。

サーバーが存在するマシンでSQL Server Browserサービスが実行中である場合は、このフィールドにホスト名とインスタンス名を{host_name}\{instance_name}という形式で指定すれば、TCPダイナミックポートを通じてネームドインスタンスに接続できるようになります。この場合は[Port] (ポート)フィールドを空白のまましておきます。関連情報は、SQL Server Browser serviceをご覧ください。

[Port] (ポート)

使うデータベースサーバーかAzure Synapse Analyticsのリスニングポート番号を入力します。

サーバーが存在するマシンでSQL Server Browserサービスが実行中である場合は、[Host] (ホスト)フィールドにホスト名とインスタンス名を入力し、このフィールドを空にしておけば、TCPダイナミックポートを通じてネームドインスタンスに接続できるようになります。関連情報は、SQL Server Browser serviceをご覧ください。

[Schema] (スキーマ) Azure Synapse Analyticsスキーマの名前を入力します。
[Database] (データベース) 使うAzure Synapse Analyticsの名前を指定します。
[Username] (ユーザー名)[Password] (パスワード) 認証データを入力します。

パスワードを入力するためには、[Password] (パスワード)フィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。

[Additional JDBC Parameters] (追加のJDBCパラメーター)フィールドにintegratedSecurity=trueを追加し、これら2つのフィールドを空にしておけば、Windows[Type 2 integrated authentication] (タイプ2のインテグレーション認証)を使用できるようになります。関連情報は、Building the connection URLConnecting with integrated authentication On Windowsというセクションをご覧ください。

[Additional JDBC Parameters] (追加のJDBCパラメーター)

作成するデータベース接続に接続の追加プロパティを指定します。プロパティはセミコロンで区切られ、各プロパティはキー-値ペアです。たとえばAzure SQLデータベース接続の場合は、encrypt=true;trustServerCertificate=false; hostNameInCertificate=*.database.windows.net;loginTimeout=30;となります。

[Table] (テーブル) データがロードされるSQL Data Warehouseテーブルの名前を指定します。
[Action on table] (テーブルでのアクション)

定義されたテーブルに対して実行する操作を選択します。

  • [None] (なし): 操作は行われません。

  • [Drop and create table] (ドロップしてテーブルを作成): テーブルが削除され、再作成されます。

  • [Create table] (テーブルを作成): テーブルが存在しないため、作成されます。

  • [Create table if not exists] (テーブルが存在しない場合は作成): テーブルが存在しない場合は作成されます。

  • [Drop table if exist and create] (テーブルが存在する場合はドロップして作成): テーブルが既に存在する場合は削除されて再作成されます。

  • [Clear table] (テーブルをクリア): テーブルのコンテンツが削除されます。この操作はロールバックできます。

  • [Truncate table] (テーブルを切り詰め): テーブルのコンテンツが削除されます。この操作はロールバックできません。

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

  • [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

  • [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。変更を加えると、スキーマは自動的に組み込みになります。

  • [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

    変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Load method] (ロード方法)

データをロードする方法を設定するために使われます。CopyPloyBaseの2つのオプションが提供されています。関連情報は、Synapse SQLプールのデータロード戦略をご覧ください。

Azure Storage データをロードするAzure Storageのタイプを選択します。

[Load method] (ロード方法)ドロップダウンリストでCopy が選択されている場合、Data Lake Storage Gen1オプションは利用できません。

[Basic settings] (基本設定)ビューで[Load method] (ロード方法)としてPloyBaseを、Azure StorageとしてData Lake Storage Gen2をそれぞれ選択し、[Advanced settings] (詳細設定)ビューで[Secure transfer required] (安全な転送が必要)を選択すると、[Basic settings] (基本設定)ビューに[Authentication with managed identity] (マネージドIDによる認証)というオプションが表示されます。関連情報は、Managed identities for Azure resourcesをご覧ください。

[Authentication method] (認証方式)
ドロップダウンリストから、次の認証方式を1つ選択します。
  • [Shared Access Signatures] (共有アクセス署名): 共有アクセス署名が必要です。詳細は、Constructing the Account SAS URIをご覧ください。
  • [Storage account key] (ストレージアカウントキー): アカウントアクセスキーが必要です。関連情報は、Manage a storage accountをご覧ください。
  • Azure Active Directoryは、[Advanced setting] (詳細設定)ビューでAzure Active Directoryを使って認証が選択されている場合に利用できます。
  • [Managed identity] (マネージドID)は、Azure StorageアカウントでマネージドID (MSI)を作成済みであることが条件です。関連情報は、Managed identities for Azure resourcesをご覧ください。

このオプションは、[Load Method] (ロード方法)ドロップダウンリストから、Copyが選択されている場合のみ利用できます。

[Account Name] (アカウント名) アクセスするAzure Blob StorageまたはAzure Data Lake Storageのアカウント名を入力します。
[Access key] (アクセスキー)

アクセスする必要のあるストレージアカウントに関連付けられたキーを入力します。どのアカウントでも利用できるキーが2つあり、このアクセスにはデフォルトでどちらのキーも使用できます。ドロップダウンリストから、Azure Storageへの接続を設定するために接続の詳細を使用するコンポーネントを選択します。

このオプションは、[Azure Storage] (Azure Storage)ドロップダウンリストでBlob Storageが選択されている場合のみ利用できます。

[SAS token] (SASトークン)

SASトークンの値を入力します。関連情報は、Constructing the Account SAS URIをご覧ください。このオプションは、[Authentication method] (認証方法)ドロップダウンリストから[Shared access signatures] (共有アクセス署名)が選択されている場合のみ利用できます。

[Endpoint suffix] (エンドポイントサフィックス)

Azure Storageのサービスエンドポイントを入力します。

アカウント名とAzure Storageサービスエンドポイントの組み合わせにより、ストレージアカウントのエンドポイントが形成されます。

デフォルト値は、[Azure Storage] (Azure Storage)の設定に応じて異なります。Data Lake Storage Gen2の場合は"dfs.core.windows.net"Blob Storageの場合は"blob.core.windows.net"です。

このオプションは、[Load method] (ロード方法)リストから[Copy] (コピー)が選択されている場合のみ利用できます。

[Container] (コンテナー) blobコンテナーの名前を入力します。

このオプションは、[Azure Storage] (Azure Storage)ドロップダウンリストでBlob Storageが選択されている場合のみ利用できます。

[External paths] (外部パス)

データの読み取り元の外部パスを入力します。下部の[+]ボタンをクリックして、複数の外部パスを追加できます。外部パスはコンテナーをルートとする相対パスです。

このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)が選択されている場合のみ利用できます。

[Client Id] (クライアントID) アプリケーションID (別名クライアントID)を入力します。

このオプションは、[Azure Storage] (Azure Storage)ドロップダウンリストでData Lake Storage Gen1が選択されている場合のみ利用できます。

[OAuth 2.0 token endpoint] (OAuth 2.0トークンエンドポイント)

[Token endpoint] (トークンエンドポイント)フィールドで、Azureポータルの[App registrations] (アプリの登録)ページの[Endpoints] (エンドポイント)リストから取得できるOAuth 2.0トークンエンドポイントをコピーして貼り付けます。

このオプションは、[Azure Storage] (Azure Storage)ドロップダウンリストでData Lake Storage Gen1が選択されている場合のみ利用できます。

[Azure Storage Location] (Azure Storageの場所) Azure Blob StorageまたはAzure Data Lakeストレージアカウントが作成されている場所を指定します。

詳細設定

[Secure transfer required] (安全な転送が必要) Azure Storage接続に安全な転送を使うには、このオプションを選択します。

このオプションは、[Basic settings] (基本設定)ビューのAzure StorageドロップダウンリストでData Lake Storage Gen2を選択し、[Load method] (ロード方法)ドロップダウンリストでPloyBaseを選択した場合のみ利用できます。

[Authenticate using Azure Active Directory] (Azure Active Directoryを使って認証)

このオプションを選択すると、接続を確立する時にAzure Active Directory認証を使用できます。関連情報は、Azure AD Authenticationをご覧ください。

[File format] (ファイル形式) Azure BlobストレージまたはAzure Data Lakeストレージに保管されている外部データを定義するファイル形式を選択します。

このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストからPloyBaseが選択されている場合のみ利用できます。

ファイル形式の詳細は、CREATE EXTERNAL FILE FORMATをご覧ください。

[File type] (ファイルタイプ) Azure BlobストレージまたはAzure Data Lakeストレージに保管されている外部データを定義するファイルタイプを選択します。[Basic settings] (基本設定)ビューで Azure StorageタイプとしてBlob Storageを選択した場合、サポートされるのはCSVファイルタイプのみです。

このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)が選択されている場合のみ利用できます。

ファイル形式の詳細は、CREATE EXTERNAL FILE FORMATをご覧ください。

[Specify map to source table fields] (ソーステーブルフィールドにマップを指定) このオプションを選択して、表示されるテーブルにスキーマカラムとフィールドインデックスを入力して、ソースファイルのフィールドを特定のスキーマカラムにマッピングします。ソースファイルのフィールドインデックスは、テーブル内で昇順に指定する必要があります。

このオプションが選択されていない場合、ソースファイルのフィールドは、デフォルトの順序でスキーマカラムにマップされます。

このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)が選択されている場合のみ利用できます。

[First row] (最初の行)

ヘッダーとして処理するソースファイルの行数を設定するために使われます。デフォルトは1です。

このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVが選択されている場合のみ利用できます。

[Field quote] (フィールドクォート) ソースファイルで引用文字(文字列の区切り)として使われる文字を指定します。

このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVが選択されている場合のみ利用できます。

[Field terminator] (フィールドターミネーター) ソースファイルの各フィールドの終わりを示すフィールドターミネーターを指定します。

このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVが選択されている場合のみ利用できます。

[Row terminator] (行ターミネーター) ソースファイルの各行の終わりを示す行ターミネーターを指定します。

このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVが選択されている場合のみ利用できます。

[Date format] (日付形式) 日付形式を指定します。デフォルトは[Session date format] (セッション日付形式)です。

このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVが選択されている場合のみ利用できます。

[Encoding] (エンコーディング) リストからエンコーディングを選択します(UTF8またはUTF16)。

このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVが選択されている場合のみ利用できます。

[Identity insert] (ID挿入)

ソースファイルのID値をIDカラムに挿入するには、このオプションを選択します。関連情報は、COPY (Transact-SQL)をご覧ください。

このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)が選択されている場合のみ利用できます。

[Max errors] (最大エラー数) プロセスを停止しない、許可される最大エラー数を入力します。

このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)が選択されている場合のみ利用できます。

[Field separator] (フィールド区切り) 区切り付きテキストファイルの各フィールドの終わりを示す文字を指定します。

このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPoly Baseを選択し、[File format] (ファイルフォーマット)ドロップダウンリストでDelimited Textを選択した場合のみ利用できます。

[Enclosed by] (引用符) このチェックボックスをオンにして、その横のフィールドで、区切り付きファイル内の文字列を囲む文字を指定します。

このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPoly Baseを選択し、[File format] (ファイルフォーマット)ドロップダウンリストでDelimited Textを選択した場合のみ利用できます。

[Date format] (日付形式) このチェックボックスをオンにし、その横のフィールドで、区切り付きファイル内のすべての日付と時刻のデータのカスタム形式を指定します。日付形式の詳細は、CREATE EXTERNAL FILE FORMATをご覧ください。

このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPoly Baseを選択し、[File format] (ファイルフォーマット)ドロップダウンリストでDelimited Textを選択した場合のみ利用できます。

[Use type default] (タイプのデフォルトを使用) このチェックボックスをオンにすると、対応するカラムのデータ型のデフォルト値を使って各欠損値が保管されます。

このチェックボックスをオフにすると、区切り付きファイルに欠落している各値がNULLとして保管されます。

このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPoly Baseを選択し、[File format] (ファイルフォーマット)ドロップダウンリストでDelimited Textを選択した場合のみ利用できます。

[Serde Method] (Serdeメソッド) Hiveシリアライザーとデシリアライザーのメソッドを選択します。

このオプションは、[File format] (ファイル形式)ドロップダウンリストでHive RCFileが選択されている場合のみ利用できます。

[Compressed by] (圧縮方式) 外部データが圧縮されている場合は、このチェックボックスをオンにし、横に表示されるドロップダウンリストから圧縮方式を選択します。
[Data import reject options] (データインポートリジェクトオプション) このチェックボックスをオンにして、次のリジェクトオプションを指定します。
  • [Reject type] (リジェクトタイプ): リジェクト行の処理方法を指定します。

    • [Value] (値): リジェクト行の数が[Reject value] (リジェクト値)フィールドで指定した値を超えると、ロードは失敗します。
    • [Percentage] (パーセンテージ): リジェクト行のパーセンテージが[Reject value] (リジェクト値)フィールドで指定した値を超えると、ロードは失敗します。
  • [Reject value] (リジェクト値): リジェクトタイプに応じたリジェクト値。パーセンテージの場合は、%記号なしのパーセント値です。

  • [Reject sample value] (サンプル値をリジェクト): リジェクトパーセンテージのサンプル値。

このフィールドは、[Load Method] (ロード方法)ドロップダウンリストの[Copy] (コピー)オプションでのみ利用できます。

リジェクトオプションの詳細は、CREATE EXTERNAL TABLEをご覧ください。

[Distribution Option] (ディストリビューションオプション) テーブルでのデータの分散に使われるシャーディングパターンを選択します。Azure Synapse Analyticsでサポートされているシャーディングパターンの詳細は、Azure Synapse Analytics - Massively parallel processing (MPP) architectureをご覧ください。

このオプションは、[Action on table] (テーブルでのアクション)ドロップダウンリストでテーブル作成に関連するどのオプションを選択した場合のみ利用できます。

[Distribution Column Name] (ディストリビューションカラム名) ハッシュディストリビューションテーブルのディストリビューションカラムの名前。

このオプションは、[Distribution Option] (ディストリビューションオプション)ドロップダウンリストで[Hash] (ハッシュ)が選択されている場合のみ利用できます。

[Table Option] (テーブルオプション) テーブルのインデックスタイプを選択します。詳細は、Indexing tables in Synapse SQL poolをご覧ください。

このオプションは、[Action on table] (テーブルでのアクション)ドロップダウンリストでテーブル作成に関連するどのオプションを選択した場合のみ利用できます。

[Index column(s)] (インデックスカラム) インデックス内の1つ以上のキーカラムの名前を指定します。複数のカラムを指定する場合は、コンマで区切ります。

このオプションは、[Table Option] (テーブルオプション)ドロップダウンリストで[Clustered Index] (クラスター化されたインデックス)が選択されている場合のみ利用できます。

[Partition] (パーティション) このチェックボックスをオンにして、次のパターンオプションを指定します。
  • [Partition column name] (パーティションカラム名): テーブルを分割するために使うカラムの名前を指定します。

  • [Range] (範囲): 制限の範囲に制限値を含める方法を指定します。

    • [Left] (左): 制限値は、制限の左側の範囲に含まれます。

    • [Right] (右): 限界値は、制限の右側に含まれます。

  • [Partition For Values] (値のパーティション): パーティションに使う値(コンマ区切り)を指定します。

テーブルパターンの詳細は、Partitioning tables in Synapse SQL poolをご覧ください。

このオプションは、[Action on table] (テーブルでのアクション)ドロップダウンリストでテーブル作成に関連するどのオプションを選択した場合のみ利用できます。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスを選択すると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

NB_LINE_INSERTED

挿入された行数。これはAfter変数で、整数を返します。

使用方法

使用ルール

このコンポーネントは、ジョブやサブジョブのスタンドアロンコンポーネントとして使用できます。

制限事項

他のデータベースでサポートされている機能でも、Azure Synapse Analyticsではサポートされていないものもあります。詳細については、サポートされていないテーブル機能をご覧ください。

このページは役に立ちましたか?

このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。