Hiveからデータを抽出し、データを後続のコンポーネントに送ります。
HiveではSparkから外部テーブルにアクセスできますが、ACIDトランザクションはサポートされていません。
tHiveInputはHiveデータベースの専用コンポーネントです(Hive Data Warehouseシステム)。Hiveからデータを抽出するために特定のHiveQLクエリーを実行できます。
Hive側でACIDが有効になっている場合、Sparkジョブはテーブルを削除またはアップデートできず、データが圧縮されない限り、このジョブはHiveテーブルから集計データを正しく読み取ることができません。これは、Sparkバグ追跡システムで説明されている既知の制限https://issues.apache.org/jira/browse/SPARK-15348です。
デフォルトで、このコンポーネントはTalend Studioと共には出荷されていません。機能マネージャーを使ってインストールする必要があります。 詳細は、機能マネージャーを使って機能をインストールをご覧ください。
Talendでサポートされているテクノロジーの詳細は、Talendコンポーネントを参照してください。
使用しているTalend製品に応じて、このコンポーネントは次のジョブフレームワークの1つ、一部、またはすべてで使用できます。
-
標準:tHiveInputの標準プロパティをご覧ください。
このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで利用できます。
-
Spark Batch:Apache Spark BatchのtHiveInputプロパティをご覧ください。
このフレームワーク内のコンポーネントは、ビッグデータ対応のサブスクリプションTalend 製品すべて、およびTalend Data Fabricで利用できます。
-
Spark Streaming:Apache Spark StreamingtHiveInputプロパティをご覧ください。
このコンポーネントは、Talend Real Time Big Data PlatformおよびTalend Data Fabricで利用できます。