マルチノードクラスターに保存されているHiveデータセットやHDFSデータセットのインポートを有効にする場合は、Components Catalog設定ファイルを編集する必要があります。
重要: クラスターにあるどのワーカーからもHDFSへの認証に使用するkeytabファイルにアクセスできることをご確認ください。
手順
-
<components_catalog>/tcomp_gss.confファイルを作成し、次の設定パラメーターを追加します:
com.sun.security.jgss.initiate {
com.sun.security.auth.module.Krb5LoginModule required
useTicketCache=false
doNotPrompt=true
useKeyTab=true
keyTab="/path/to/the/keytab/keytab_file.keytab"
principal="your@principalHere"
debug=true;
};
-
<components_catalog>/start.shでこれらのパラメーターを次の値で設定し、先ほど作成した <components_catalog>/tcomp_gss.confファイルを参照させます。
THE_CMD="$JAVA_BIN $SCRIPT_JAVA_OPTS -Djava.security.auth.login.config=/path/to/gss.conf -Djava.security.krb5.debug=true
-Djava.security.krb5.conf="/etc/krb5.conf" -Djavax.security.auth.useSubjectCredsOnly=false -cp
\"$APP_CLASSPATH\" $APP_CLASS $*"
-
Talend Data Preparationでデータセットをインポートする場合、Hiveへの接続に使用するJDBC URLは次のモデルに従う必要があります:
jdbc:hive2://host:10000/default;principal=<your_principal>
タスクの結果
以上で、マルチノードクラスターでHiveデータセットやHDFSデータセットをインポートできるようになります。