ビッグデータ: 既知の問題と制限事項 - 8.0

Talend Data Fabricリリースノート

Version
8.0
Language
日本語 (日本)
EnrichDitaval
Data Fabric
Product
Talend Data Fabric
Content
インストールとアップグレード
リリースノート

未解決の問題をすべて記載したリストはJIRAバグ管理ツールを参照してください。

https://jira.talendforge.org/issues/?filter=35345

制限事項

説明

Hive HiveはSparkローカルモードではサポートされていません。
Java 11
  • ビッグデータディストリビューションが含まれると、標準ジョブまたはメタデータリポジトリーではJava 11はサポートされません。
  • Sparkジョブでは、Java 11はサポートされません。

この制限は、ビッグデータディストリビューションのJava 11をサポートする制約によるものです。

ビッグデータディストリビューションが含まれるSparkジョブおよび標準ジョブまたはメタデータリポジトリーを実行するには、Java 8をコンピューターにインストールして、Talend Studio[Preferences] (環境設定) > [Talend] > [Java interpreter] (Javaインタープリター)内のパスをカスタマイズした後に、[Preferences] (環境設定) > [Java] > [Installed JREs] (インストール済みJRE)でJDK 8の場所を参照する必要があります。

問題 対処方法

スキーマカラムにDate型のカラムを持つMapRDBコンポーネントを使ってSpark Batchジョブを実行すると、

"The method toBytes(ByteBuffer) in the type Bytes is not applicable for the arguments (Date)" (Bytes型のtoBytes(ByteBuffer)メソッドは引数(Date)には適用できません)というコンパイルエラーが表示される。

MapRDBコンポーネントを使ってSpark Batchジョブを実行する場合、スキーマカラムのDate型カラムは使用できません。
YARNクライアントモードでKerberosを使用しているCDP 7.1.xクラスターではHBaseが動作せず、hbase.pb.AuthenticationService.GetAuthenticationTokenorg.apache.hadoop.hbase.HBaseIOException: com.google.protobuf.ServiceException: Error calling method hbase.pb.AuthenticationService.GetAuthenticationTokenというエラーが返される。 CDP 7.1.xクラスターでHBaseを使用する際にKerberosを使う場合は、YARNクライアントモードではなく、YARNクラスターモードを使用することをお勧めします。