ビッグデータ: 既知の問題と制限事項 - 7.3

Talend Data Fabricリリースノート

Version
7.3
Language
日本語 (日本)
EnrichDitaval
Data Fabric
Product
Talend Data Fabric
Content
インストールとアップグレード
リリースノート

未解決の問題をすべて記載したリストはJIRAバグ管理ツールを参照してください。

https://jira.talendforge.org/issues/?filter=31377

制限事項

説明

Hive HiveはSparkローカルモードではサポートされていません。
Java 11

標準ジョブやメタデータリポジトリーの場合、ビッグデータディストリビューションが含まれるとJava 11はサポートされません。

この制限事項は、ビッグデータディストリビューションでのJava 11に対するサポート制約に起因するものです。

Java 11

Java 11はMapReduceやSpark Jobではサポートされていません。

この制限事項は、ビッグデータディストリビューションでのJava 11に対するサポート制約に起因するものです。

問題 対処方法

スキーマカラムにDate型のカラムを持つMapRDBコンポーネントを使ってSpark Batchジョブを実行すると、

"The method toBytes(ByteBuffer) in the type Bytes is not applicable for the arguments (Date)" (Bytes型のtoBytes(ByteBuffer)メソッドは引数(Date)には適用できません)というコンパイルエラーが表示される。

MapRDBコンポーネントを使ってSpark Batchジョブを実行する場合、スキーマカラムのDate型カラムは使用できません。
YARNクライアントモードでKerberosを使用しているCDP 7.1.xクラスターではHBaseが動作せず、hbase.pb.AuthenticationService.GetAuthenticationTokenorg.apache.hadoop.hbase.HBaseIOException: com.google.protobuf.ServiceException: Error calling method hbase.pb.AuthenticationService.GetAuthenticationTokenというエラーが返される。 CDP 7.1.xクラスターでHBaseを使用する際にKerberosを使う場合は、YARNクライアントモードではなく、YARNクラスターモードを使用することをお勧めします。