Apache Spark StreamingtHiveInputプロパティ

これらのプロパティは、Spark Streamingジョブのフレームワークで実行されているtHiveInputを設定するために使われます。

Spark StreamingのtHiveInputコンポーネントは、データベースファミリーに属しています。

このコンポーネントは、Talend Real Time Big Data PlatformおよびTalend Data Fabricで利用できます。

重要: Talendは、複雑なデータ型(配列、ストラクチャー、マップなど)のスキーマのインポートをサポートしていません。

基本設定

[Hive storage configuration] (Hiveストレージ設定)	Hiveに接続するための設定の詳細をSparkに使用させるtHiveConfigurationコンポーネントを選択します。
[HDFS Storage configuration] (HDFSストレージ設定)	特定のHDFSシステムに接続し、依存するjarファイルをこのHDFSシステムに転送するために、設定の詳細を取ってSparkで使用するtHDFSConfigurationコンポーネントを選択します。このフィールドは、オンプレミスのディストリビューションを使用している場合のみ該当します。
[Schema] (スキーマ)および[Edit Schema] (スキーマを編集)	スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語の`line`を避けます。見えないところで行われる処理でフィールド名を強制的に小文字にする可能性もあるため、フィールドは必ず小文字で命名してください。スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。 [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。 [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。 [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。
	[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。
	[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。
[Input source] (入力ソース)	tHiveInputに読み取らせる入力データのタイプを選択します。 [Hive table] (Hiveテーブル): [Database] (データベース)フィールドと[Table name] (テーブル名)フィールドが表示されます。接続先のHiveデータベースとデータを読み取る必要のあるHiveテーブルの関連情報を入力する必要があります。 [Hive query] (Hiveクエリー): [Hive query] (Hiveクエリー)フィールドが表示されます。使用するHiveクエリーステートメントを入力して、使用するデータを選択する必要があります。 [ORC file] (ORCファイル): [Input file name] (入力ファイル名)フィールドが表示され、Hiveストレージ設定リストが無効になります。ORCファイルはHiveをホストしているHDFSシステムに保存する必要があるためです。使用するファイルが保存されるディレクトリーを入力する必要があります。 Hiveのクエリー言語の詳細は、https://cwiki.apache.org/confluence/display/Hive/LanguageManualをご覧ください。注: GzipまたはBzip2の形式で圧縮されたデータは、クエリーステートメントを使用して処理できます。詳細は、https://cwiki.apache.org/confluence/display/Hive/CompressedStorageをご覧ください。 Hadoopではファイルの保存に必要な領域を削減し、データ転送を高速化するための圧縮形式が異なります。圧縮ファイルを読み取る場合、Studioでは入力フローにフィードする前に展開する必要があります。

詳細設定

[Register Hive UDF jars] (Hive UDF jarを登録)	tHiveInputに使用させるHiveユーザー定義ファンクション(UDF) jarを追加します。使用する各UDFのファンクションエイリアスを[Temporary UDF functions] (一時UDFファンクション)テーブルで定義する必要があります。このテーブルに1行を追加したら、クリックして[...]ボタンを表示し、次にこのボタンをクリックしてjarインポートウィザードを表示します。このウィザードを使用して、目的のUDF jarファイルをインポートします。登録済みのファンクションは、[Basic settings] (基本設定)ビューの[Hive Query] (Hiveクエリー)フィールドで編集するHiveクエリーでよく使用されます。この[Hive Query] (Hiveクエリー)フィールドは、[Hive query] (Hiveクエリー)を[Input source] (入力ソース)リストから選択する時のみ表示されます。
[Temporary UDF functions] (一時UDFファンクション)	このテーブルに入力して、インポートされた各UDFクラスに、現在のtHiveInputコンポーネント内のHiveクエリーで使用する一時的なファンクション名を付けます。

[Register Hive UDF jars] (Hive UDF jarを登録)

tHiveInputに使用させるHiveユーザー定義ファンクション(UDF) jarを追加します。使用する各UDFのファンクションエイリアスを[Temporary UDF functions] (一時UDFファンクション)テーブルで定義する必要があります。

このテーブルに1行を追加したら、クリックして[...]ボタンを表示し、次にこのボタンをクリックしてjarインポートウィザードを表示します。このウィザードを使用して、目的のUDF jarファイルをインポートします。

登録済みのファンクションは、[Basic settings] (基本設定)ビューの[Hive Query] (Hiveクエリー)フィールドで編集するHiveクエリーでよく使用されます。この[Hive Query] (Hiveクエリー)フィールドは、[Hive query] (Hiveクエリー)を[Input source] (入力ソース)リストから選択する時のみ表示されます。

[Temporary UDF functions] (一時UDFファンクション)

このテーブルに入力して、インポートされた各UDFクラスに、現在のtHiveInputコンポーネント内のHiveクエリーで使用する一時的なファンクション名を付けます。

使用方法

使用ルール	このコンポーネントは、開始コンポーネントとして使用され、出力リンクを必要とします。このコンポーネントは、Hiveに接続するために同じジョブ内にあるtHiveConfigurationコンポーネントを使用する必要があります。このコンポーネントは、所属するSpark Streamingのコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。特に明記していない限り、このドキュメントのシナリオでは、標準ジョブ、つまり従来の Talend データ統合ジョブだけを扱います。
[Spark Connection] (Spark接続)	[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。 Yarnモード(YarnクライアントまたはYarnクラスター): Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。 HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。 Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。 Quboleを使用する場合は、ジョブにtS3Configurationを追加し、QuboleでS3システム内に実際のビジネスデータを書き込みます。tS3Configurationを使用しないと、このビジネスデータはQubole HDFSシステムに書き込まれ、クラスターをシャットダウンすると破棄されます。オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。 [Standalone mode] (スタンドアロンモード): クラスターで使われているファイルシステム(tHDFSConfiguration Apache Spark BatchやtS3Configuration Apache Spark Batchなど)に対応する設定コンポーネントを使用します。ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。この接続は、ジョブごとに有効になります。

使用ルール

このコンポーネントは、開始コンポーネントとして使用され、出力リンクを必要とします。

このコンポーネントは、Hiveに接続するために同じジョブ内にあるtHiveConfigurationコンポーネントを使用する必要があります。

このコンポーネントは、所属するSpark Streamingのコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメントのシナリオでは、標準ジョブ、つまり従来の Talend データ統合ジョブだけを扱います。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。

Yarnモード(YarnクライアントまたはYarnクラスター):
- Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。
- HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。
- Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
- Quboleを使用する場合は、ジョブにtS3Configurationを追加し、QuboleでS3システム内に実際のビジネスデータを書き込みます。tS3Configurationを使用しないと、このビジネスデータはQubole HDFSシステムに書き込まれ、クラスターをシャットダウンすると破棄されます。
- オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。
[Standalone mode] (スタンドアロンモード): クラスターで使われているファイルシステム(tHDFSConfiguration Apache Spark BatchやtS3Configuration Apache Spark Batchなど)に対応する設定コンポーネントを使用します。

ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。