Apache Spark BatchのtHiveWarehouseInputプロパティ - Cloud - 8.0

Hive
Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発 > サードパーティーシステム > DBコンポーネント > Hive
データガバナンス > サードパーティーシステム > DBコンポーネント > Hive
データクオリティとプレパレーション > サードパーティーシステム > DBコンポーネント > Hive
Last publication date
2024-04-09

これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtHiveWarehouseInputを設定するために使われます。

Spark BatchのtHiveWarehouseInputコンポーネントは、ストレージファミリーに属しています。

このフレームワークのコンポーネントは、すべてのサブスクリプションベースのビッグデータ対応のTalend製品およびTalend Data Fabricで使用できます。

基本設定

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

  • [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続のプロパティ値を手動で指定する必要があります。

  • [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。

    このチェックボックスの横にある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーのコンテンツ)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。
[Hive Storage Configuration] (Hiveストレージ設定) Hiveに接続できるようSparkに設定の詳細を使わせるtHiveWarehouseConfigurationコンポーネントを選択します。
[HDFS Storage Configuration] (HDFSストレージ設定)

特定のHDFSシステムに接続し、依存するjarファイルをこのHDFSシステムに転送するために、設定の詳細を取ってSparkで使用するtHDFSConfigurationコンポーネントを選択します。このフィールドは、オンプレミスのディストリビューションを使用している場合のみ該当します。

[Schema] (スキーマ)と[Edit Schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

見えないところで行われる処理でフィールド名を強制的に小文字にする可能性もあるため、フィールドは必ず小文字で命名してください。

使用するスキーマのタイプを[Schema] (スキーマ)ドロップダウンリストから選択します。

  • [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

  • [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

  • [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

    変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Input source] (入力ソース)

tHiveWarehouseInputを使って読み取る入力データのタイプを選択します。
  • [Hive Query] (Hiveクエリー): [Database] (データベース)クエリーフィールドと[Hive]クエリーフィールドが表示されます。接続先のHiveデータベースの関連情報、および使用するデータの選択に使いたいHiveクエリーステートメントを入力する必要があります。

  • [ORC file] (ORCファイル): [Input file name] (入力ファイル名)フィールドが表示され、Hiveストレージ設定リストが無効になります。ORCファイルはHiveをホストしているHDFSシステムに保存する必要があるためです。使用するファイルが保存されるディレクトリーを入力する必要があります。

Hiveのクエリー言語の詳細は、https://cwiki.apache.org/confluence/display/Hive/LanguageManualをご覧ください。

注: GzipまたはBzip2の形式で圧縮されたデータは、クエリーステートメントを使用して処理できます。詳細は、https://cwiki.apache.org/confluence/display/Hive/CompressedStorageをご覧ください。

Hadoopではファイルの保存に必要な領域を削減し、データ転送を高速化するための圧縮形式が異なります。圧縮ファイルを読み取る場合、Talend Studioでは入力フローにフィードする前に展開する必要があります。

詳細設定

[Register Hive UDF jars] (Hive UDF jarを登録)

tHiveInputに使用させるHiveユーザー定義ファンクション(UDF) jarを追加します。使用する各UDFのファンクションエイリアスを[Temporary UDF functions] (一時UDFファンクション)テーブルで定義する必要があります。

このテーブルに1行を追加したら、クリックして[...]ボタンを表示し、次にこのボタンをクリックしてjarインポートウィザードを表示します。このウィザードを使用して、目的のUDF jarファイルをインポートします。

登録済みのファンクションは、[Basic settings] (基本設定)ビューの[Hive Query] (Hiveクエリー)フィールドで編集するHiveクエリーでよく使用されます。この[Hive Query] (Hiveクエリー)フィールドは、[Hive query] (Hiveクエリー)を[Input source] (入力ソース)リストから選択する時のみ表示されます。

[Temporary UDF functions] (一時UDFファンクション)

このテーブルに入力して、インポートされた各UDFクラスに、現在のtHiveInputコンポーネント内のHiveクエリーで使用する一時的なファンクション名を付けます。

グローバル変数

グローバル変数

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。

Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入力する場合は、Ctrl + スペースを押して変数リストにアクセスし、使用する変数を選択します。

変数の詳細は、コンテキストと変数を使用をご覧ください。

使用方法

使用ルール

このコンポーネントは、開始コンポーネントとして使用され、出力リンクを必要とします。

このコンポーネントは、Hiveに接続するために同じジョブ内にあるtHiveWarehouseConfigurationコンポーネントを使う必要があります。

このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。