このプロパティはStandardジョブフレームワークで実行されているtAzureSynapseBulkExecを設定するために使います。
[Standard] (標準)tAzureSynapseBulkExecコンポーネントは、Cloudファミリーとデータベースファミリーに属しています。
このフレームワーク内のコンポーネントは、すべてのTalend製品で利用できます。
基本設定
|
[Property Type] (プロパティタイプ) |
接続の詳細を設定する方法を選択します。
|
|
[Use an existing connection] (既存の接続を使用) |
定義済みの接続の詳細を再利用するには、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストで目的の接続コンポーネントを選択します。 ジョブに親ジョブと子ジョブが含まれている時は、2つのレベルの間の既存の接続を共有する必要がな場合(たとえば、親ジョブで作成した接続を子ジョブと共有するなど)には、以下を実行する必要があります。
ジョブレベルをまたがってデータベース接続を共有する方法の例は、『 Talend Studio ユーザーガイド』をご覧ください。 |
|
[JDBC Provider] (JDBCプロバイダー) |
使うJDBCドライバーのプロバイダーを選択します。 |
|
[Host] (ホスト) |
使うAzure SQL Data WarehouseのIPアドレスまたはホスト名を指定します。 |
|
[Port] (ポート) |
使うAzure SQL Data Warehouseのリスニングポート番号を指定します。 |
|
[Schema] (スキーマ) |
Azure SQL Data Warehouseスキーマの名前を入力します。 |
|
[Database] (データベース) |
使うAzure SQL Data Warehouseの名前を指定します。 |
|
[Username] (ユーザー名)と[Password] (パスワード) |
Azure SQL Data Warehouseにアクセスするためのユーザー認証データを入力します。 パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、[OK] をクリックして設定を保存します。 |
|
[Additional JDBC Parameters] (追加のJDBCパラメーター) |
作成するデータベース接続に接続の追加プロパティを指定します。プロパティはセミコロンで区切られ、各プロパティはキー/値ペアです。たとえば、Azure SQLデータベース接続の場合は、encrypt=true;trustServerCertificate=false; hostNameInCertificate=*.database.windows.net;loginTimeout=30;になります。 |
| [Table] (テーブル) |
データがロードされるSQL Data Warehouseテーブルの名前を指定します。 |
| テーブルでのアクション |
定義されたテーブルに対して実行する操作を選択します。
|
|
[Schema] (スキーマ)と[Edit schema] (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。
スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。
注: 変更を加えると、スキーマは自動的に組み込みになります。
|
|
[Load method] (ロード方法) |
データの読み取り方法を設定します。[Copy] (コピー)とPloyBaseの2つのオプションが提供されています。関連情報は、Synapse SQLプールのデータロード戦略をご覧ください。 |
| Azure Storage |
データをロードするAzure Storageのタイプを選択します。Blob Storage、Data Lake Storage Gen1、またはData Lake Storage Gen2を選択できます。[Load method] (ロード方法)ドロップダウンリストでCopy が選択されている場合、Data Lake Storage Gen1オプションは利用できません。 |
|
[Authentication method] (認証方式) |
ドロップダウンリストで、次の認証方式の1つを選択します。
このオプションは、[Load Method] (ロード方法)ドロップダウンリストでCopyが選択されている場合のみ利用できます。 |
| Account Name (アカウント名) |
アクセスするAzure Blob StorageまたはAzure Data Lake Storageのアカウント名を入力します。 |
| アクセスキー |
アクセスする必要のあるストレージアカウントに関連付けられたキーを入力します。どのアカウントにも利用できるキーが2つあり、デフォルトでは、どちらもこのアクセスに利用できます。ドロップダウンリストで、Azure Storageへの接続を設定するために接続の詳細を使用するコンポーネントを選択します。 このプロパティは、[Azure Storage] (Azure Storage)ドロップダウンリストでBlob Storageが選択されている場合にのみ利用できます。 |
|
[SAS token] (SASトークン) |
SASトークンの値を入力します。関連情報は、Constructing the Account SAS URIをご覧ください。このオプションは、[Authentication method] (認証方式)ドロップダウンリストの[Shared access signatures] (共有アクセス署名)オプションでのみ利用できます。 |
|
[Endpoint suffix] (エンドポイントサフィックス) |
Azure Storageのサービスエンドポイントを入力します。 アカウント名とAzure Storageサービスエンドポイントの組み合わせにより、ストレージアカウントのエンドポイントが形成されます。 デフォルト値は、[Azure Storage] (Azure Storage)の設定に応じて異なります。Data Lake Storage Gen2の場合は"dfs.core.windows.net"、Blob Storageの場合は"blob.core.windows.net"です。 このフィールドは、[Load Method] (ロード方法)ドロップダウンリストの[Copy] (コピー)オプションでのみ利用できます。 |
| Container (コンテナー) |
blobコンテナーの名前を入力します。 このプロパティは、[Azure Storage] (Azure Storage)ドロップダウンリストでBlob Storageが選択されている場合にのみ利用できます。 |
|
[External paths] (外部パス) |
データの読み取り元の外部パスを入力します。下部の[+]ボタンをクリックして、複数の外部パスを追加できます。外部パスはコンテナーをルートとする相対パスです。 このフィールドは、[Basic settings] (基本設定)ビューで[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択した場合のみ利用できます。 |
| [Client Id] (クライアントID) |
アプリケーションID (別名クライアントID)を入力します。 このプロパティは、[Azure Storage] (Azure Storage)ドロップダウンリストでData Lake Storage Gen1が選択されている場合にのみ利用できます。 |
| [OAuth 2.0 token endpoint] (OAuth 2.0トークンエンドポイント) |
[Token endpoint] (トークンエンドポイント)フィールドで、Azureポータルの[App registrations] (アプリの登録)ページの[Endpoints] (エンドポイント)リストから取得できるOAuth 2.0トークンエンドポイントをコピーして貼り付けます。 このプロパティは、[Azure Storage] (Azure Storage)ドロップダウンリストでData Lake Storage Gen1が選択されている場合にのみ利用できます。 |
| [Azure Storage Location] (Azure Storageの場所) |
Azure Blob StorageまたはAzure Data Lakeストレージアカウントが作成されている場所を指定します。 |
詳細設定
|
[Secure transfer required] (安全な転送が必要) |
Azure Storage接続に安全な転送を使うには、このオプションを選択します。 このオプションは、[Basic settings] (基本設定)ビューの[Azure Storage] (Azure Storage)ドロップダウンリストでData Lake Storage Gen2を選択し、[Load method] (ロード方法)ドロップダウンリストでPolyBaseを選択した場合に利用できます。 |
|
[Authenticate using Azure Active Directory] (Azure Active Directoryを使って認証) |
接続を確立する時にAzure Active Directory認証を使うには、このオプションを選択します。関連情報は、Azure AD Authenticationをご覧ください。 |
| [File format] (ファイル形式) |
Azure BlobストレージまたはAzure Data Lakeストレージに保管されている外部データを定義するファイル形式、Delimited Text、Hive RCFile、Hive ORC、または Parquetを選択します。 このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPolyBaseを選択した場合にのみ利用できます。 ファイル形式の詳細は、CREATE EXTERNAL FILE FORMATを参照してください。 |
| [File type] (ファイルタイプ) |
Azure BlobストレージまたはAzure Data Lakeストレージに保管されている外部データを定義するフィルタータイプ、CSV、ORCまたは Parquetを選択します。 このフィールドは、[Basic settings] (基本設定)ビューで[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択した場合のみ利用できます。 ファイル形式の詳細は、CREATE EXTERNAL FILE FORMATを参照してください。 |
|
[Specify map to source table fields] (ソーステーブルフィールドにマップを指定) |
このオプションを選択して、表示されるテーブルにスキーマカラムとフィールドインデックスを入力して、ソースファイルのフィールドを特定のスキーマカラムにマッピングします。ソースファイルのフィールドインデックスは、テーブル内で昇順に指定する必要があります。 このオプションが選択されていない場合、ソースファイルのフィールドは、デフォルトの順序でスキーマカラムにマップされます。 このフィールドは、[Basic settings] (基本設定)ビューで[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択した場合のみ利用できます。 |
|
[First row] (最初の行) |
ヘッダーとして処理するソースファイルの行数を設定します。デフォルトは1です。 このフィールドは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストからCSVオプションを選択した場合のみ利用できます。 |
| [Field quote] (フィールドクォート) |
ソースファイルで引用符(文字列の区切り)として使われる記号を指定します。 このフィールドは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストからCSVオプションを選択した場合のみ利用できます。 |
| [Field terminator] (フィールドターミネーター) |
ソースファイルの各フィールドの終わりを示すフィールドターミネーターを指定します。 このフィールドは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストからCSVオプションを選択した場合のみ利用できます。 |
| [Row terminator] (行ターミネーター) |
ソースファイルの各行の終わりを示す行ターミネーターを指定します。 このフィールドは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストからCSVオプションを選択した場合のみ利用できます。 |
| [Date format] (日付形式) |
日付形式を指定します。デフォルトは[Session date format] (セッション日付形式)です。 このフィールドは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストからCSVオプションを選択した場合のみ利用できます。 |
| [Encoding] (エンコーディング) |
リストからエンコーディングを選択します(UTF8またはUTF16)。 このフィールドは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストからCSVオプションを選択した場合のみ利用できます。 |
|
[Identity insert] (ID挿入) |
ソースファイルのID値をIDカラムに挿入するには、このオプションを選択します。関連情報は、COPY (Transact-SQL)を参照してください。 このフィールドは、[Basic settings] (基本設定)ビューで[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択した場合のみ利用できます。 |
|
[Max errors] (最大エラー数) |
プロセスを停止しない、許可される最大エラー数を入力します。 このフィールドは、[Basic settings] (基本設定)ビューで[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択した場合のみ利用できます。 |
| [Field separator] (フィールド区切り) |
区切り付きテキストファイルの各フィールドの終わりを示す文字を指定します。 このプロパティは、[ Basic settings](基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPoly Baseを選択し、[File format] (ファイルフォーマット)ドロップダウンリストでDelimited Textを選択した場合に利用できます。 |
| [Enclosed by] (引用符) |
このチェックボックスをオンにして、その横のフィールドで、区切り付きファイル内の文字列を囲む文字を指定します。 このプロパティは、[ Basic settings](基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPoly Baseを選択し、[File format] (ファイルフォーマット)ドロップダウンリストでDelimited Textを選択した場合に利用できます。 |
| 日付形式 |
このチェックボックスをオンにし、その横のフィールドで、区切り付きファイル内のすべての日付と時刻のデータのカスタム形式を指定します。日付形式の詳細は、CREATE EXTERNAL FILE FORMATを参照してください。 このプロパティは、[ Basic settings](基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPoly Baseを選択し、[File format] (ファイルフォーマット)ドロップダウンリストでDelimited Textを選択した場合に利用できます。 |
| [Use type default] (タイプのデフォルトを使用) |
このチェックボックスをオンにすると、対応するカラムのデータ型のデフォルト値を使って各欠損値が保管されます。 このチェックボックスをオフにすると、区切り付きファイルに欠落している各値がNULLとして保管されます。 このプロパティは、[ Basic settings](基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPoly Baseを選択し、[File format] (ファイルフォーマット)ドロップダウンリストでDelimited Textを選択した場合に利用できます。 |
| [Serde Method] (Serdeメソッド) |
Hiveシリアライザーとデシリアライザーのメソッドを選択します。 このプロパティは、[File format] (ファイルフォーマット)ドロップダウンリストでHive RCFileが選択されている場合にのみ利用できます。 |
| [Compressed by] (圧縮方式) |
外部データが圧縮されている場合は、このチェックボックスをオンにし、横に表示されるドロップダウンリストから圧縮方式を選択します。 |
| [Data import reject options] (データインポートリジェクトオプション) |
このチェックボックスをオンにして、次のリジェクトオプションを指定します。
このフィールドは、[Load Method] (ロード方法)ドロップダウンリストの[Copy] (コピー)オプションでのみ利用できます。 リジェクトオプションの詳細は、CREATE EXTERNAL TABLEを参照してください。 |
| [Distribution Option] (ディストリビューションオプション) |
テーブル内のデータの分散に使われるシャーディングパターン、Round Robin、Hash、またはReplicateを選択します。Azure SQLデータウェアハウスでサポートされているシャーディングパターンの詳細は、Azure Synapse Analytics (formerly SQL DW) architectureを参照してください。 このプロパティは、[Action on table] (テーブルでのアクション)ドロップダウンリストでテーブル作成に関連するどのオプションを選択した時にも利用できます。 |
| [Distribution Column Name] (ディストリビューションカラム名) |
ハッシュディストリビューションテーブルのディストリビューションカラムの名前。 このプロパティは、[Distribution Option] (ディストリビューションオプション)ドロップダウンリストでHashが選択されている場合にのみ利用できます。 |
| [Table Option] (テーブルオプション) |
テーブルのインデックスタイプ(Clustered Columnstore Index、Heap、またはClustered Index)を選択します。詳細は、Indexing tables in Synapse SQL poolを参照してください。 このプロパティは、[Action on table] (テーブルでのアクション)ドロップダウンリストでテーブル作成に関連するどのオプションを選択した時にも利用できます。 |
| [Index column(s)] (インデックスカラム) |
インデックス内の1つ以上のキーカラムの名前を指定します。複数のカラムを指定する場合は、コンマで区切ります。 このプロパティは、[Table Option] (テーブルオプション)ドロップダウンリストでClustered Indexが選択されている場合にのみ利用できます。 |
| Partition (パーティション) |
このチェックボックスをオンにして、次のパターンオプションを指定します。
テーブルパターンの詳細は、Partitioning tables in Synapse SQL poolを参照してください。 このプロパティは、[Action on table] (テーブルでのアクション)ドロップダウンリストでテーブル作成に関連するどのオプションを選択した時にも利用できます。 |
|
[tStatCatcher Statistics] (tStatCatcher統計) |
このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。 |
[Global Variables] (グローバル変数)
|
ERROR_MESSAGE |
エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。 |
|
NB_LINE_INSERTED |
挿入された行数。これはAfter変数で、整数を返します。 |
使用方法
|
使用ルール |
このコンポーネントはジョブやサブジョブのスタンドアロンコンポーネントとして使用できます。 |
|
制限事項 |
他のデータベースでサポートされている機能でも、Azure SQL Data Warehouseではサポートされていないものもあります。詳細については、サポートされていないテーブル機能をご覧ください。 |