Big Data: 既知の問題と制限事項 - Cloud - 8.0

Talendリリースノート

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud API Services Platform
Talend Cloud Big Data
Talend Cloud Big Data Platform
Talend Cloud Data Integration
Talend Cloud Data Management Platform
Talend Cloud Real-Time Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Cloud API Designer
Talend Cloud API Tester
Talend Cloud Data Inventory
Talend Cloud Data Preparation
Talend Cloud Data Stewardship
Talend Cloud Pipeline Designer
Talend Data Preparation
Talend Data Stewardship
Talend Management Console
Talend Studio
Content
インストールとアップグレード
リリースノート
Last publication date
2024-03-01

制限事項

説明

対象製品

Hive HiveはSparkローカルモードではサポートされていません。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

Java 11
  • 標準ジョブやメタデータリポジトリーの場合、ビッグデータディストリビューションが含まれるとJava 11はサポートされません。
  • Sparkジョブでは、Java 11はサポートされません。

この制限は、ビッグデータディストリビューションのJava 11をサポートする制約によるものです。

ビッグデータディストリビューションが含まれるSparkジョブおよび標準ジョブまたはメタデータリポジトリーを実行するには、Java 8をコンピューターにインストールして、Talend Studio[Preferences] (環境設定) > [Talend] > [Java interpreter] (Javaインタープリター)内のパスをカスタマイズした後に、[Preferences] (環境設定) > [Java] > [Installed JREs] (インストール済みJRE)でJDK 8の場所を参照する必要があります。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

問題 対処方法 対象製品
Dataproc 2.x、Azure Synapse、HD Insight 4.0の各ディストリビューションでSparkジョブを実行すると、java.lang.NoSuchMethodError: org.apache.log4j.helpersというエラーが返されることがあります。 Log4j2のセキュリティ問題(CVE-2021-44228)に対処できるよう、Dataproc 2.x以降、Azure Synapse、HD Insight 4.0の各ディストリビューションでSpark BatchジョブとSpark Streaming ジョブを実行する場合は、コンポーネント内のLog4jロガーを必ず無効にしてください。

ジョブが失敗しないよう、[File] (ファイル) > [Edit Project Properties] (プロジェクトプロパティを編集) > [Project Settings] (プロジェクト設定)[Log4j]ビューで[Activate log4j in components] (コンポーネントでlog4jを有効化)チェックボックスをオフにするか、Sparkジョブの[Advanced settings] (詳細設定)にあるlog4jLevelチェックボックスをオフにしてください。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

スキーマカラムにDate型のカラムを持つMapRDBコンポーネントを使ってSpark Batchジョブを実行すると、

"The method toBytes(ByteBuffer) in the type Bytes is not applicable for the arguments (Date)" (Bytes型のtoBytes(ByteBuffer)メソッドは引数(Date)には適用できません)というコンパイルエラーが表示される。

MapRDBコンポーネントを使ってSpark Batchジョブを実行する場合、スキーマカラムのDate型カラムは使用できません。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

YARNクライアントモードでKerberosを使用しているCDP 7.1.xクラスターではHBaseが動作せず、hbase.pb.AuthenticationService.GetAuthenticationTokenorg.apache.hadoop.hbase.HBaseIOException: com.google.protobuf.ServiceException: Error calling method hbase.pb.AuthenticationService.GetAuthenticationTokenというエラーが返される。 CDP 7.1.xクラスターでHBaseを使用する際にKerberosを使う場合は、YARNクライアントモードではなく、YARNクラスターモードを使用することをお勧めします。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品