Big Data : problèmes et limitations connus - Cloud

Big Data : problèmes et limitations connus - Cloud - 8.0

Notes de version de Talend

Version

Cloud

8.0

Language

Français

Product

Talend Big Data

Talend Big Data Platform

Talend Cloud API Services Platform

Talend Cloud Big Data

Talend Cloud Big Data Platform

Talend Cloud Data Integration

Talend Cloud Data Management Platform

Talend Cloud Real-Time Big Data Platform

Talend Data Fabric

Talend Data Integration

Talend Data Management Platform

Talend Data Services Platform

Talend ESB

Talend MDM Platform

Talend Real-Time Big Data Platform

Module

Studio Talend

Talend Cloud API Designer

Talend Cloud API Tester

Talend Cloud Data Inventory

Talend Cloud Data Preparation

Talend Cloud Data Stewardship

Talend Cloud Management Console

Talend Cloud Pipeline Designer

Talend Data Preparation

Talend Data Stewardship

Content

Installation et mise à niveau

Notes de version

Nous vous invitons à consulter l'outil de suivi des bugs JIRA pour obtenir une liste complète des questions ouvertes :

https://jira.talendforge.org/issues/?filter=35345

Limitation	Description	Disponible dans
Hive	Hive n'est pas supporté en mode Spark Local.	ⓘ Disponible dans : Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform Tous les produits Talend avec Big Data nécessitant souscription
Java 11	Java 11 n'est pas supportée dans les Jobs Standard ou dans le référentiel des métadonnées lorsqu'ils impliquent des distributions Big Data. Java 11 n'est pas supporté dans les Jobs Spark. Cette limitation est liée aux contraintes du support de Java 11 dans les distributions Big Data. Pour exécuter vos Jobs Spark et Standard, ou pour travailler avec un référentiel de métadonnées utilisant des distributions Big Data, vous devez installer Java 8 sur votre ordinateur. Dans le Studio Talend, personnalisez le chemin d'accès dans Preferences > Talend > Java interpreter, en parcourant votre système jusqu’à l'emplacement de la JDK 8, dans Preferences > Java > Installed JREs.	ⓘ Disponible dans : Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform Tous les produits Talend avec Big Data nécessitant souscription

Limitation

Description

Disponible dans

Hive

Hive n'est pas supporté en mode Spark Local.

ⓘ

Disponible dans :

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Tous les produits Talend avec Big Data nécessitant souscription

Java 11

Java 11 n'est pas supportée dans les Jobs Standard ou dans le référentiel des métadonnées lorsqu'ils impliquent des distributions Big Data.
Java 11 n'est pas supporté dans les Jobs Spark.

Cette limitation est liée aux contraintes du support de Java 11 dans les distributions Big Data.

Pour exécuter vos Jobs Spark et Standard, ou pour travailler avec un référentiel de métadonnées utilisant des distributions Big Data, vous devez installer Java 8 sur votre ordinateur. Dans le Studio Talend, personnalisez le chemin d'accès dans Preferences > Talend > Java interpreter, en parcourant votre système jusqu’à l'emplacement de la JDK 8, dans Preferences > Java > Installed JREs.

ⓘ

Disponible dans :

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Tous les produits Talend avec Big Data nécessitant souscription

Problème Solution de contournement Disponible dans

Problème	Solution de contournement	Disponible dans
Lorsque vous exécutez des Jobs Spark avec des distributions Dataproc 2.x, Azure Synapse et HD Insight 4.0, l'erreur suivante peut être retournée : `java.lang.NoSuchMethodError: org.apache.log4j.helpers`.	Relativement au problème de sécurité Log4j 2 (CVE-2021-44228), assurez-vous de désactiver tous les loggers Log4j lorsque vous exécutez des Jobs Spark Batch et Spark Streaming avec les distributions Dataproc 2.x, Azure Synapse et HD Insight 4.0. Pour éviter tout échec de Job, décochez la case Activate log4j in components dans la vue Log4j dans File > Edit Project Properties > Project Settings ou décochez la case log4jLevel dans la vue Advanced settings de votre Job Spark.	ⓘ Disponible dans : Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform Tous les produits Talend avec Big Data nécessitant souscription
Lorsque vous exécutez un Job Spark Batch avec des composants MapRDB ayant des colonnes de type `Date` dans leur schéma, l'erreur de compilation suivante s'affiche : "The method toBytes(ByteBuffer) in the type Bytes is not applicable for the arguments (Date)".	Les colonnes de type `Date` dans le schéma ne peuvent être utilisées lorsque vous exécutez un Job Spark Batch avec des composants MapRDB.	ⓘ Disponible dans : Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform Tous les produits Talend avec Big Data nécessitant souscription
HBase ne fonctionne pas avec un cluster CDP 7.1.x utilisant Kerberos en mode YARN Client et retourne l'erreur suivante : `hbase.pb.AuthenticationService.GetAuthenticationTokenorg.apache.hadoop.hbase.HBaseIOException: com.google.protobuf.ServiceException: Error calling method hbase.pb.AuthenticationService.GetAuthenticationToken`.	Si vous souhaitez utiliser Kerberos lors de l'utilisation de HBase avec un cluster CDP 7.1.x, il est recommandé d'utiliser le mode YARN Cluster au lieu du mode YARN Client.	ⓘ Disponible dans : Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform Tous les produits Talend avec Big Data nécessitant souscription

Lorsque vous exécutez des Jobs Spark avec des distributions Dataproc 2.x, Azure Synapse et HD Insight 4.0, l'erreur suivante peut être retournée : java.lang.NoSuchMethodError: org.apache.log4j.helpers.

Relativement au problème de sécurité Log4j 2 (CVE-2021-44228), assurez-vous de désactiver tous les loggers Log4j lorsque vous exécutez des Jobs Spark Batch et Spark Streaming avec les distributions Dataproc 2.x, Azure Synapse et HD Insight 4.0.

Pour éviter tout échec de Job, décochez la case Activate log4j in components dans la vue Log4j dans File > Edit Project Properties > Project Settings ou décochez la case log4jLevel dans la vue Advanced settings de votre Job Spark.

ⓘ

Disponible dans :

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Tous les produits Talend avec Big Data nécessitant souscription

Lorsque vous exécutez un Job Spark Batch avec des composants MapRDB ayant des colonnes de type Date dans leur schéma, l'erreur de compilation suivante s'affiche :

"The method toBytes(ByteBuffer) in the type Bytes is not applicable for the arguments (Date)".

Les colonnes de type Date dans le schéma ne peuvent être utilisées lorsque vous exécutez un Job Spark Batch avec des composants MapRDB.

ⓘ

Disponible dans :

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Tous les produits Talend avec Big Data nécessitant souscription

HBase ne fonctionne pas avec un cluster CDP 7.1.x utilisant Kerberos en mode YARN Client et retourne l'erreur suivante :

 hbase.pb.AuthenticationService.GetAuthenticationTokenorg.apache.hadoop.hbase.HBaseIOException: com.google.protobuf.ServiceException: Error calling method hbase.pb.AuthenticationService.GetAuthenticationToken

Si vous souhaitez utiliser Kerberos lors de l'utilisation de HBase avec un cluster CDP 7.1.x, il est recommandé d'utiliser le mode YARN Cluster au lieu du mode YARN Client.

ⓘ

Disponible dans :

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Tous les produits Talend avec Big Data nécessitant souscription