tBigQueryBulkExec標準プロパティ - 7.3

tBigQueryBulkExec

EnrichVersion
Cloud
7.3
EnrichPlatform
Talend Studio
task
ジョブデザインと開発 > サードパーティーシステム > クラウドストレージ > Google BigQuery
データガバナンス > サードパーティーシステム > クラウドストレージ > Google BigQuery
データクオリティとプレパレーション > サードパーティーシステム > クラウドストレージ > Google BigQuery

このプロパティはStandardジョブフレームワークで実行されているtBigQueryBulkExecを設定するために使います。

Standard tBigQueryBulkExecコンポーネントはファミリーのコンポーネントです。

このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。

基本設定

[Schema] (スキーマ)および[Edit schema] (スキーマの編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

  • Built-in (組み込み): そのコンポーネントのみのスキーマを作成して、ローカルに保存します。

  • Repository (リポジトリー): スキーマは作成済みで、リポジトリーに保管されており、さまざまなプロジェクトやジョブデザインで再利用できます。

スキーマを変更するには[Edit schema] (スキーマの編集)をクリックします。
注: 変更を加えると、スキーマは自動的に組み込みになります。
  • View schema (スキーマの表示): スキーマのみを表示する場合は、このオプションを選択します。

  • Change to built-in property (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • Update repository connection (リポジトリー接続を更新): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

このコンポーネントはダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、『 Talend Studio ユーザーガイド』を参照してください。

このダイナミックスキーマ機能は、テーブルの不明なカラムを取得する目的で設計されており、この目的に限り使用をお勧めします。テーブルの作成で使用することは勧められていません。

 
  • BigQueryのレコードタイプはサポートされていません。
  • DescriptionカラムやModeカラムなど、テーブルメタデータのカラムは取得できません。
  • BigQueryシステムからのタイムスタンプデータは、文字列データにフォーマットされます。
  • BigQueryの数値データはBigDecimalに変換されます。
[Authentication mode] (認証モード) プロジェクトの認証に使用されるモードを選択します。
  • [OAuth 2.0]: OAuth認証情報を使用してアクセスを認証します。このモードを選択した場合、[Basic settings] (基本設定)ビューで定義されるパラメーターは、[Client ID] (クライアントID)[Client secret] (クライアントシークレット)および[Authorization code] (認証コード)です。
  • [Service account] (サービスアカウント): Google Cloud Platformプロジェクトに関連付けられているGoogleアカウントを使用して認証します。このモードを選択した場合、[Basic settings] (基本設定)ビューで定義されるパラメーターは[Service account credentials file] (サービスアカウントの認証情報ファイル)になります。
[Service account credentials file] (サービスアカウント認証情報ファイル) 使用するサービスアカウント用に作成された認証情報ファイルへのパスを入力します。このファイルはTalendジョブが実際に起動および実行されるコンピューターに保管されている必要があります。

Googleサービスアカウントを作成し、認証情報ファイルを取得する方法は、Googleドキュメンテーションから『認証の開始』を参照してください。

[Client ID] (クライアントID)および[Client Secret] (クライアントシークレット)

クライアントIDおよびクライアントシークレットを貼り付けます。両方とも使用するGoogle BigQueryサービスおよびCloud StorageサービスをホスティングしているプロジェクトのAPI Accessタブビューで作成され、および表示可能になっています。

クライアントシークレットを入力するには、クライアントシークレットフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスでクライアントシークレットを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

[Project ID] (プロジェクトID)

使用する必要があるGoogle BigQueryサービスをホスティングしているプロジェクトのIDを貼り付けます。

プロジェクトのIDは、Google API ConsoleのURL、またはBigQuery Browser Toolでプロジェクト名でマウスオーバーすると表示されます。

[Authorization code] (認証コード)

構築中のアクセスに対してGoogleにより提供される認証コードを貼り付けます。

認証コードを取得するには、このコンポーネントを使用してジョブを実行する必要があります。このジョブが実行を一時停止してURLアドレスを出力する場合は、このアドレスに移動して、表示されている認証コードをコピーします。

[Dataset] (データセット)

データを転送する転送先のデータセットの名前を入力します。

[Table] (テーブル)

データを転送する転送先のテーブルの名前を入力します。

このテーブルが存在しない場合は、[Create the table if it doesn't exist] (テーブルが存在しない場合は作成)チェックボックスを選択します。

[Action on data] (データへのアクション)

ターゲットテーブルにデータを転送する時に、ドロップダウンリストから実行するアクションを選択します。アクションは以下のようになります:

  • [Truncate] (切り捨て): テーブルの内容を空にし、転送されたデータで再作成します。

  • [Append] (追加): テーブルの既存のデータに行を追加します。

  • [Empty] (空): 空のテーブルに入力します。

[Credential type] (認証情報のタイプ)

プロジェクトの認証に使うタイプをリストから選択します。
  • [Service account] (サービスアカウント): この認証情報タイプを選択した場合、[Basic settings] (基本設定)ビューで定義されるパラメーターは[Service account key] (サービスアカウントキー)になります。
  • [HMAC key (deprecated)] (HMACキー(非推奨)): この認証情報のタイプを選択した場合、[Basic settings] (基本設定)ビューで定義されるパラメーターは[Access Key] (アクセスキー)[Secret Key] (秘密キー)になります。

[Service account] (サービスアカウント)が選択されています。[Credential type] (認証情報の種類)フィールドは、[Bulk file already exists in Google storage] (BulkファイルがGoogle Storageに既に存在しています)チェックボックスがオフの場合にのみ利用できます。

[Bulk file already exists in Google storage] (BulkファイルがGoogle Storageに既に存在しています)

このチェックボックスを選択すると、Google Cloud Storage接続の認証情報が再利用され、[File] (ファイル)および[Header] (ヘッダー)フィールドが完成します。

[Service account key] (サービスアカウントキー)

サービスアカウントキーフィールドの横にある[...]ボタンをクリックして、サービスアカウントキーを含むJSONファイルを参照します。

[Access key] (アクセスキー)および[Secret key] (シークレットキー)

Google Cloud StorageにリクエストするためにGoogleから取得した認証情報を貼り付けます。

シークレットキーを入力するには、シークレットキーフィールドの横の[...]ボタンをクリックし、ポップアップダイアログボックスにシークレットキーを二重引用符の間に入力し、[OK] をクリックして設定を保存します。

これらのキーは、プロジェクトの[Google Cloud Storage]タブの[Interoperable Access]タブビューで参照できます。

[File to upload] (アップロードするファイル)

Google BigQueryに転送するデータがGoogle Cloud Storageに保管されていない場合は、参照するか、パスを入力します。

Bucket (バケット)

Google BigQueryに転送するデータを保持するGoogle Cloud Storageコンテナーのバケットの名前を入力します。

ファイル

Google Cloud Storageに保管され、Google BigQueryに転送されるデータのディレクトリを入力します。このデータは、バケットルートの直下に保管する必要があります。たとえば、gs://my_bucket/my_file.csvと入力します。

データがGoogle Cloud Storageにない場合、このディレクトリはデータがGoogle BigQueryに転送する途中の宛先として使用されます。

ヘッダー

転送されたデータのヘッダーを無視するように値をセットします。たとえば、ヘッダーのないデータの行を無視するには、0を入力します 。

[Die on error] (エラー発生時に強制終了)

このチェックボックスをオンにすると、エラー時に行をスキップし、エラーの発生していない行の処理が完了されます。デフォルトでは選択されていません。

詳細設定

[token properties File Name] (トークンプロパティファイル名)

使用する必要がある更新トークンファイルのパスを入力するか、参照します。

Google BigQueryから取得した[Authorization code] (認証コード)を使用する最初のジョブ実行の場合、このフィールドの値は、作成し使用する更新トークンファイルのディレクトリーと名前になります。トークンファイルが作成済みで、再利用する必要がある場合、このフィールドにディレクトリーとファイル名を指定する必要があります。

トークンファイル名のみを入力した場合、 Talend Studio により、トークンファイルのディレクトリがStudioフォルダーのルートであると見なされます。

更新トークンの詳細は、Google BigQueryのマニュアルを参照してください。

[Set the field delimiter] (フィールド区切り記号を指定)

転送されたデータのフィールドを区切るために、文字、文字列、または正規表現を入力します。

カスタムnullマーカーの使用

このオプションを選択すると、特定の文字をnullマーカーとして使用することができます。右側のテキスト枠内のダブルクォーテーションでnullマーカーを指定することができます。

このオプションは、null値を持つフィールドによるエラーを防止します。

注: このオプションは、TalendのR2020-07以降のStudio月次アップデートをインストールした場合のみ利用できます詳細は管理者にお問い合わせください。
[Drop table if exists] (存在する場合はテーブルをドロップ)

このテーブルが既に存在する場合は、[Drop table if exists] (存在する場合はテーブルをドロップ)チェックボックスをオンにして、[Table] (テーブル)フィールドで指定したテーブルを削除します。

[Encoding] (エンコーディング)

リストからエンコーディングを選択するか、[CUSTOM] (カスタム)を選択して、手動で定義します。このフィールドはデータベースデータ処理の必須フィールドです。サポートされるエンコーディングは、使用しているJVMに応じて異なります。詳細は、https://docs.oracle.comを参照してください。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、コンポーネントレベルでログデータを収集できます。

Global Variables

[Global Variables] (グローバル変数)

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、Die on error (エラー時強制終了)がオフになっている場合にのみ機能します。

Flow変数はコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + Spaceを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細については、『 Talend Studio ユーザーガイド』を参照してください。

使用方法

使用ルール

このコンポーネントはスタンドアロンコンポーネントです。

このコンポーネントは、マルチリージョンロケーションとリージョナルロケーションの両方を自動的に検出し、サポートします。リージョナルロケーションを使用する時は、使用するバケットとデータセットは同じロケーションに入れておく必要があります。