ステップ2: ソースデータベーステーブルからHive外部テーブルへ変更をロードする - Cloud - 8.0

Change Data Capture

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > DBコンポーネント > データキャプチャーの変更
データガバナンス > サードパーティーシステム > DBコンポーネント > データキャプチャーの変更
データクオリティとプレパレーション > サードパーティーシステム > DBコンポーネント > データキャプチャーの変更
Last publication date
2024-02-28

このステップでは、ソースデータベーステーブルから変更のみを読み取り、それらをHive外部テーブルemployee_extnlにロードします。

手順

  1. ビッグデータバッチジョブは次のとおりです。
    • ソーステーブルは、cdc_controlテーブルで維持されている最後にアップデートされたタイムスタンプによってフィルタリングされます。これは、tmysqlInputコンポーネントのWhere条件でこのSQLを使用することによって行われます。

      ここで、cdc.Table_Name='employee_table'およびemp.`Record_DateTime`> cdc.Last_executed"となります。

    • tAggregateRowは、実行のたびに1行をcdc_controlテーブルにロードします。テーブルに対してupdate else insert操作を実行します。テーブルのレコードが既に存在する場合は、ジョブの実行時にレコードがアップデートされます。

      ランタイムはTalendDate.getCurrentDate()ファンクションを使用して設定できます。

    以下は、新しいレコードが追加された後のソースemployee_tableテーブルのデータを示しています。
  2. ジョブを実行します。
    以下に、ジョブ実行後のemployee_extnl外部Hiveテーブル内のデータを示します。