ステップ2: ソースデータベーステーブルからHive外部テーブルへ変更をロードする - Cloud - 8.0

Change Data Capture

Version
Cloud
8.0
Language
日本語 (日本)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > DBコンポーネント > データキャプチャーの変更
データガバナンス > サードパーティーシステム > DBコンポーネント > データキャプチャーの変更
データクオリティとプレパレーション > サードパーティーシステム > DBコンポーネント > データキャプチャーの変更

このステップでは、ソースデータベーステーブルから変更のみを読み取り、それらをHive外部テーブルemployee_extnlにロードします。

手順

  1. ビッグデータバッチジョブは次のとおりです。
    • ソーステーブルは、cdc_controlテーブルで維持されている最後に更新されたタイムスタンプによってフィルタリングされます。これは、tmysqlInputコンポーネントのWhere条件でこのSQLを使用することによって行われます。

      ここで、cdc.Table_Name='employee_table'およびemp.`Record_DateTime`> cdc.Last_executed"となります。

    • tAggregateRowは、実行のたびに1行をcdc_controlテーブルにロードします。テーブルに対してupdate else insert操作を実行します。テーブルのレコードが既に存在する場合は、ジョブの実行時にレコードが更新されます。

      ランタイムはTalendDate.getCurrentDate()関数を使用して設定できます。

    以下は、新しいレコードが追加された後のソースemployee_tableテーブルのデータを示しています。
  2. ジョブを実行します。
    以下に、ジョブ実行後のemployee_extnl外部Hiveテーブル内のデータを示します。