Fusionner deux ensembles de données dans HDFS
Ce scénario s'applique uniquement aux produits Talend avec Big Data.
Pour plus de technologies supportées par Talend, consultez Composants Talend.
Ce scénario montre comment utiliser le tSqoopMerge pour fusionner deux ensembles de données qui sont importés de manière séquentielle dans HDFS, à partir de la même table MySQL, mais dont un enregistrement a été modifié.
id,wage,mod_date
0,2000,2008-06-26 04:25:59
1,2300,2011-06-12 05:29:45
2,2500,2007-01-15 11:59:13
3,3000,2010-05-02 15:34:05
Le chemin vers ce jeu de données dans HDFS est /user/ychen/target_old.
id,wage,mod_date
0,2000,2008-06-26 04:25:59
1,2300,2011-06-12 05:29:45
2,2500,2007-01-15 11:59:13
3,4000,2013-10-14 18:00:00
Le chemin vers ce jeu de données dans HDFS est /user/ychen/target_new.
Ces ensembles de données sont tous les deux importés à l'aide du composant tSqoopImport. Pour un scénario montrant comment utiliser le tSqoopImport, consultez Importer une table MySQL dans HDFS.
Le Job décrit dans ce scénario fusionne deux ensembles de données. Les nouveaux enregistrements écrasent les anciens.
Avant de commencer à reproduire ce scénario, assurez-vous d'avoir les droits d'accès appropriés à la distribution Hadoop à utiliser. Procédez comme suit :
Cette page vous a-t-elle aidé ?
Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !