Utiliser un fichier de configuration Hive spécifique à Spark pour résoudre le problème d'utilisation d'un moteur Tez avec Hive pour des Jobs Spark dans une distribution Hortonworks

Hortonworks embarque un fichier spécifique à Spark hive-site.xml pour résoudre ce problème de moteur Tez avec Hive. Vous pouvez utiliser ce fichier afin de définir la connexion à votre cluster Hortonworks dans le Studio Talend.

Ce fichier est stocké dans le dossier de configuration Spark de votre cluster Hortonworks : /etc/spark/conf.

Procédure

Récupérez ce fichier de configuration Hive spécifique à Spark de l'administrateur de votre cluster.
Téléchargez les fichiers de configuration de votre cluster, par exemple, à l'aide d'Ambari.
Parmi ces fichiers, remplacez le fichier /etc/hive/conf/hive-site.xml par ce fichier spécifique à Spark /etc/spark/conf/hive-site.xml.
Définissez la connexion à Hadoop pour votre cluster Hortonworks, dans le Repository, si ce n'est pas encore fait.
Cliquez-droit sur la connexion et, dans le menu contextuel, sélectionnez Edit Hadoop cluster pour ouvrir l'assistant Hadoop cluster connection.
Cliquez sur Next pour ouvrir la seconde étape de l'assistant. Cochez la case Use custom Hadoop configurations.
Cliquez sur le bouton [...] à côté de Use custom Hadoop configurations pour ouvrir l'assistant Hadoop configuration import wizard.
Sélectionnez la version d'Hortonworks que vous utilisez et sélectionnez le bouton radio Import configuration from local files.
Cliquez sur Next et cliquez sur Browse... pour trouver les fichiers de configuration Hive parmi lesquels vous avez placé le fichier spécifique à Spark hive-site.xml au cours d'une précédente étape.
Cliquez sur Finish pour fermer l'assistant et terminer l'import, afin de retourner à l'assistant Hadoop cluster connection.
Cliquez sur Finish pour valider les modifications et, dans la boîte de dialogue, cliquez sur Yes pour accepter la propagation. L'assistant se ferme et le fichier de configuration Hive spécifique à Spark sera utilisé avec cette connexion à Hadoop.

Cette nouvelle configuration est prise en compte uniquement pour les Jobs utilisant cette connexion.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !

Laissez vos commentaires ici