Étape 2 : charger des modifications à partir de la table de base de données source dans la table externe Hive - 7.3

Change Data Capture

author
Talend Documentation Team
EnrichVersion
Cloud
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Database > Change Data Capture
Gouvernance de données > Systèmes tiers > Composants Database > Change Data Capture
Qualité et préparation de données > Systèmes tiers > Composants Database > Change Data Capture
EnrichPlatform
Studio Talend
Cette étape lit uniquement les modifications à partir de la table de base de données source et les charge dans la table externe Hive employee_extnl.

Procédure

  1. Le Big Data Batch Job se présente comme suit :
    • La table source est filtrée par le dernier horodatage mis à jour qui est conservé dans la table cdc_control. Cela est fait en utilisant ce SQL dans la condition WHERE du composant tmysqlInput.

      cdc.Table_Name='employee_table' et emp.`Record_DateTime`> cdc.Last_executed"

    • Le tAggregateRow charge ligne par ligne dans la table cdc_control. Il fait une mise à jour ou une opération d'insert dans la table Si un enregistrement de la table existe déjà, il fera la mise à jour de l'enregistrement à l'exécution du Job.

      L'exécution peut être configurée en utilisant la fonction TalendDate.getCurrentDate().

    L'image suivante montre les données dans la table source employee_table après que de nouveaux enregistrements ont été ajoutés :
  2. Exécutez le Job.
    L'image suivante montre les données dans la table externe Hive employee_extnl après l'exécution du Job :