Exporter un jeu de données Hive sécurisé par Kerberos vers HDFS

Pour activer les exports vers un environnement Cloudera Kerberos pour les jeux de données Hive, vous devez modifier les fichiers de configuration de votre serveur de Jobs Spark.

Important : Assurez-vous que votre fichier Keytab utilisé pour l'authentification à HDFS est accessible à tous les workers du cluster.

Procédure

Créez un fichier <sjs_path>/jobserver_gss.conf et ajoutez les paramètres de configuration suivants :

com.sun.security.jgss.initiate {
com.sun.security.auth.module.Krb5LoginModule required
useTicketCache=false
doNotPrompt=true
useKeyTab=true
keyTab="/path/to/the/keytab/keytab_file.keytab"
principal="your@principalHere"
debug=true;
};

Dans le fichier <sjs_path>/manager_start.sh, configurez ces paramètres avec les valeurs suivantes afin de référencer le fichier <sjs_path>/jobserver_gss.conf précédemment créé :

KRB5_OPTS="-Djava.security.auth.login.config=jobserver_gss.conf
 -Djava.security.krb5.debug=true
 -Djava.security.krb5.conf=/path/to/krb5.conf
 -Djavax.security.auth.useSubjectCredsOnly=false"

 --conf "spark.executor.extraJavaOptions=$LOGGING_OPTS $KRB5_OPTS"
 --conf "spark.yarn.dist.files=/path/to/jobserver_gss.conf"
 --proxy-user $4
 --driver-java-options "$GC_OPTS $JAVA_OPTS $LOGGING_OPTS $CONFIG_OVERRIDES $JDBC_PROPERTIES $KRB5_OPTS"

Lorsque vous importez votre jeu de données dans Talend Data Preparation, l'URL JDBC utilisée pour vous connecter à Hive doit suivre ce modèle :
jdbc:hive2://host:10000/default;principal=<your_principal>
Copiez le fichier <components_catalog_path>/config/jdbc_config.json contenant le pilote Hive dans le dossier d'installation du serveur de Jobs Spark.
Copiez les fichiers .jar depuis le dossier <components_catalog_path>/.m2 dans le dossier <sjs_path>/datastreams-deps.

Résultats

Vous pouvez à présent exporter vos jeux de données Hive dans HDFS.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !

Laissez vos commentaires ici