Amazon EMR - Jobs Big Data Batch
- Amazon EC2
- Amazon EMR
- Amazon RDS
L'ajout de données dans une base de données MySQL avec des données originaires d'une autre source, comme un fichier hébergé sur HDFS, ou un fichier stocké sur un système de fichiers local, est un prérequis commun à ces produits.
Création d'un Job Big Data Batch en utilisant un framework Map Reduce
Procédure
-
Afin de définir le Job en Job MapReduce, dans la liste déroulante
Framework, sélectionnez
MapReduce:
C'est lors de cette étape que vous devez choisir le framework Spark si vous souhaitiez créer un Job Big Data Batch en utilisant le framework Spark.
Vous serez ensuite capable de créer votre Job comme n'importe quel autre Job Talend.
Configuration d'un Job Big Data Batch en utilisant le framework Map Reduce
Procédure
-
Dans l'onglet Hadoop Configuration, vous utiliserez la
métadonnée de connexion de votre cluster. Dans la liste déroulante
Property Type, sélectionnez
Repository, puis parcourez le
Repository pour trouver votre métadonnée de connexion
Amazon EMR :
-
Une fois créé et configuré, vous pouvez exécuter votre Job.
Vous pouvez suivre l'exécution de votre Job dans l'espace de modélisation graphique ou dans la console :
Le Studio Talend vous permet de convertir des Jobs d'un framework à un autre.
Comme Spark vous permet un traitement "en mémoire" (in-memory), vous pourriez être intéressé par l'article Converting a MapReduce Job to a Spark Job.