Apache Spark BatchのtHiveWarehouseConfigurationプロパティ - 7.3

Hive

Version
7.3
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > DBコンポーネント > Hive
データガバナンス > サードパーティーシステム > DBコンポーネント > Hive
データクオリティとプレパレーション > サードパーティーシステム > DBコンポーネント > Hive
Last publication date
2024-02-22

これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtHiveWarehouseConfigurationを設定するために使われます。

Spark BatchtHiveWarehouseConfigurationコンポーネントは、ストレージファミリーに属しています。

このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで使用できます。

基本設定

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

  • [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続のプロパティ値を手動で指定する必要があります。

  • [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。このチェックボックスの横にある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーのコンテンツ)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

[Distribution] (ディストリビューション)[Version] (バージョン)

Hive用に使用しているHadoopディストリビューションを選択します。

使用しているHadoopのディストリビューションのバージョンを選択します。

[Hive Server] (Hiveサーバー)

このコンポーネントを使用しているジョブに Hive上のクエリーを実行させるために使用するHiveサーバーを選択します。

[Host] (ホスト) データベースサーバーのIPアドレスを入力します。
[Port] (ポート) データベースサーバーのリスニングポート番号を入力します。
[Database] (データベース) データベースの名前を入力します。
[Username] (ユーザー名)[Password] (パスワード) データベースユーザー認証データを入力します。

パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、OKをクリックして設定を保存します。

[Additional JDBC Settings] (追加のJDBC設定) 作成するデータベース接続に接続の追加プロパティを指定します。
[Use Kerberos authentication] (Kerberos認証を使用)

Keroberosセキュリティを実行しているHiveメタストアにアクセスする場合は、このチェックボックスをオンにします。

次に、使用するクラスターのhive-site.xmlファイルで定義済みのHiveのプリンシパルを入力します。

[Hive principal] (Hiveプリンシパル)hive.metastore.kerberos.principalの値を使用します。これはHiveメタストアのサービスプリンシパルです。

[Use SSL connection] (SSL接続を使用) SSLまたはTLS暗号化接続を有効にする場合は、このチェックボックスをオンにします。
次に、表示されたフィールドに認証情報を入力します。
  • [Trust store path] (トラストストアのパス)フィールドにパスを入力するか、使用するTrustStoreファイルに移動します。デフォルトでは、サポートされるTrustStore型は、JKSおよびPKCS 12です。
  • パスワードを入力するには、[Trust store password] (トラストストアのパスワード)フィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力して[OK]をクリックし、設定を保存します。

グローバル変数

グローバル変数

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。

Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + スペースを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、Talend Studioユーザーガイドをご覧ください。

使用方法

使用ルール

このコンポーネントは、通常、他のHiveコンポーネント、特にtHiveWarehouseInputおよびtHiveWarehouseOutputと併用されます。