Amazon EMR - Mise à niveau de la métadonnée de connexion du cluster

Cet article explique comment mettre à niveau la métadonnée de connexion du cluster de Amazon EMR dans le Studio Talend.

Cet exemple utilise les produits suivants sous licence fournis par Amazon :

Amazon EC2
Amazon EMR
Pour plus d'informations relatives au lancement d'un cluster Amazon EMR dans le Studio Talend, consultez Amazon EMR – Getting Started (en anglais) sur Talend Help Center (https://help.talend.com).

Pour plus d'informations relatives au lancement d'un cluster Amazon EMR dans le Studio Talend, consultez Amazon EMR – Getting Started (en anglais) sur Talend Help Center (https://help.talend.com).

Mise à jour de la métadonnée de connexion du cluster

Avant de commencer

À chaque fois que vous lancez un nouveau cluster, il faut mettre à niveau la métadonnée de connexion du cluster dans le référentiel du Studio Talend.

Une fois que votre nouveau cluster est lancé via l'interface web de Amazon EMR, vous devriez pouvoir trouver les nouveaux IP et DNS privés du nœud maître du cluster. Les IP et DNS privés seront utilisés pour mettre à niveau le fichier hosts.

Sur une instance Windows, parcourez C:\Windows\System32\drivers\etc\ et ouvrez le fichier hosts.
Sur une instance Linux, ouvrez le fichier /etc/hosts.

Configurez-le ensuite comme suit :

Pour mettre à niveau la métadonnée du cluster Hadoop dans le Studio Talend en fonction des informations de connexion du nouveau cluster, procédez comme suit :

Procédure

Dans le référentiel Studio Talend, double-cliquez sur la métadonnée de connexion du cluster Hadoop et cliquez sur Next.
Dans la fenêtre Update Hadoop Cluster Connection - Step 2/2, mettez à niveau les valeurs du DNS privé suivantes :

Cliquez sur Finish.
Dans la boîte de dialogue qui s'affiche, cliquez sur Yes pour accepter la propagation à tous les Jobs de la nouvelle configuration.
Cliquez sur OK pour mettre à niveau tous vos Jobs.

Si vous avez créé au préalable une connexion à HDFS, elle sera également mise à niveau.