Big Data: Bekannte Fehler und Einschränkungen

Einschränkung	Beschreibung	Verfügbar in
Hive	Hive wird im lokalen Spark-Modus nicht unterstützt.	Alle abonnementbasierte Produkte von Talend mit Big Data
Java 11	Java 11 wird in Standardjobs oder im Metadaten-Repository nicht unterstützt, wenn Big-Data-Distributionen beteiligt sind. Java 11 wird in Spark-Jobs nicht unterstützt. Diese Einschränkung ist auf die Notwendigkeit der Unterstützung von Java 11 für Big-Data-Distributionen zurückzuführen. Um Spark-Jobs und Standardjobs ausführen sowie ein Metadaten-Repository in Verbindung mit Big-Data-Distributionen verwenden zu können, müssen Sie Java 8 auf Ihrem Computer installieren, in Studio Talend den Pfad unter Preferences (Präferenzen) > Talend > Java interpreter (Java-Interpreter) anpassen und dann den Speicherort von JDK 8 in Preferences (Präferenzen) > Java > Installed JREs (Installierte JREs) suchen.	Alle abonnementbasierte Produkte von Talend mit Big Data

Einschränkung

Beschreibung

Verfügbar in

Hive

Hive wird im lokalen Spark-Modus nicht unterstützt.

Alle abonnementbasierte Produkte von Talend mit Big Data

Java 11

Java 11 wird in Standardjobs oder im Metadaten-Repository nicht unterstützt, wenn Big-Data-Distributionen beteiligt sind.
Java 11 wird in Spark-Jobs nicht unterstützt.

Diese Einschränkung ist auf die Notwendigkeit der Unterstützung von Java 11 für Big-Data-Distributionen zurückzuführen.

Um Spark-Jobs und Standardjobs ausführen sowie ein Metadaten-Repository in Verbindung mit Big-Data-Distributionen verwenden zu können, müssen Sie Java 8 auf Ihrem Computer installieren, in Studio Talend den Pfad unter Preferences (Präferenzen) > Talend > Java interpreter (Java-Interpreter) anpassen und dann den Speicherort von JDK 8 in Preferences (Präferenzen) > Java > Installed JREs (Installierte JREs) suchen.

Alle abonnementbasierte Produkte von Talend mit Big Data

Problem	Workaround	Verfügbar in
Bei der Ausführung von Spark-Jobs mit Dataproc 2.x-, Azure Synapse - und HD Insight 4.0-Distributionen wird in manchen Fällen der folgende Fehler ausgegeben: java.lang.NoSuchMethodError: org.apache.log4j.helpers.	In Anlehnung an das Log4j2-Sicherheitsproblem (CVE-2021-44228) müssen Sie Log4j-Logger deaktivieren, wenn Sie Spark Batch- und Spark Streaming-Jobs mit den Distributionen Dataproc ab Version 2.x, Azure Synapse und HD Insight 4.0 ausführen. Um ein Scheitern der Jobs zu vermeiden, deaktivieren Sie das Kontrollkästchen Activate log4j in components (log4j in Komponenten aktivieren) in der Ansicht Log4j unter File (Datei) > Edit Project Properties (Projekteigenschaften bearbeiten) > Project Settings (Projekteinstellungen) oder deaktivieren Sie das Kontrollkästchen log4jLevel in der Ansicht Advanced settings (Erweiterte Einstellungen) Ihrer Spark-Jobs.	Alle abonnementbasierte Produkte von Talend mit Big Data
Bei der Ausführung von Spark Batch-Jobs mit MapRDB-Komponenten, die Spalten vom Typ Date (Datum) in den Schemaspalten aufweisen, wird folgender Kompilierungsfehler ausgegeben: „The method toBytes(ByteBuffer) in the type Bytes is not applicable for the arguments (Date)“. (Die Methode toBytes(ByteBuffer) im Typ Bytes ist für die Argumente (Date) nicht gültig.)	Spalten vom Typ Date (Datum) in den Schemaspalten dürfen bei Ausführung der von Spark Batch-Jobs mit MapRDB-Komponenten nicht verwendet werden.	Alle abonnementbasierte Produkte von Talend mit Big Data
HBase funktioniert nicht mit einem CDP 7.1.x-Cluster bei Verwendung von Kerberos im YARN-Client-Modus und gibt folgenden Fehler zurück: hbase.pb.AuthenticationService.GetAuthenticationTokenorg.apache.hadoop.hbase.HBaseIOException: com.google.protobuf.ServiceException: Error calling method hbase.pb.AuthenticationService.GetAuthenticationToken.	Wenn Sie Kerberos mit HBase mit einem CDP 7.1.x-Cluster verwenden möchten, wird die Verwendung des YARN-Cluster-Modus anstelle des YARN-Client-Modus empfohlen.	Alle abonnementbasierte Produkte von Talend mit Big Data

Problem

Workaround

Verfügbar in

Bei der Ausführung von Spark-Jobs mit Dataproc 2.x-, Azure Synapse - und HD Insight 4.0-Distributionen wird in manchen Fällen der folgende Fehler ausgegeben: java.lang.NoSuchMethodError: org.apache.log4j.helpers.

In Anlehnung an das Log4j2-Sicherheitsproblem (CVE-2021-44228) müssen Sie Log4j-Logger deaktivieren, wenn Sie Spark Batch- und Spark Streaming-Jobs mit den Distributionen Dataproc ab Version 2.x, Azure Synapse und HD Insight 4.0 ausführen.

Um ein Scheitern der Jobs zu vermeiden, deaktivieren Sie das Kontrollkästchen Activate log4j in components (log4j in Komponenten aktivieren) in der Ansicht Log4j unter File (Datei) > Edit Project Properties (Projekteigenschaften bearbeiten) > Project Settings (Projekteinstellungen) oder deaktivieren Sie das Kontrollkästchen log4jLevel in der Ansicht Advanced settings (Erweiterte Einstellungen) Ihrer Spark-Jobs.

Alle abonnementbasierte Produkte von Talend mit Big Data

Bei der Ausführung von Spark Batch-Jobs mit MapRDB-Komponenten, die Spalten vom Typ Date (Datum) in den Schemaspalten aufweisen, wird folgender Kompilierungsfehler ausgegeben:

„The method toBytes(ByteBuffer) in the type Bytes is not applicable for the arguments (Date)“. (Die Methode toBytes(ByteBuffer) im Typ Bytes ist für die Argumente (Date) nicht gültig.)

Spalten vom Typ Date (Datum) in den Schemaspalten dürfen bei Ausführung der von Spark Batch-Jobs mit MapRDB-Komponenten nicht verwendet werden.

Alle abonnementbasierte Produkte von Talend mit Big Data

HBase funktioniert nicht mit einem CDP 7.1.x-Cluster bei Verwendung von Kerberos im YARN-Client-Modus und gibt folgenden Fehler zurück: hbase.pb.AuthenticationService.GetAuthenticationTokenorg.apache.hadoop.hbase.HBaseIOException: com.google.protobuf.ServiceException: Error calling method hbase.pb.AuthenticationService.GetAuthenticationToken.

Wenn Sie Kerberos mit HBase mit einem CDP 7.1.x-Cluster verwenden möchten, wird die Verwendung des YARN-Cluster-Modus anstelle des YARN-Client-Modus empfohlen.

Alle abonnementbasierte Produkte von Talend mit Big Data

Hat diese Seite Ihnen geholfen?

Wenn Sie Probleme mit dieser Seite oder ihren Inhalten feststellen – einen Tippfehler, einen fehlenden Schritt oder einen technischen Fehler –, teilen Sie uns bitte mit, wie wir uns verbessern können!

Geben Sie hier Ihr Feedback ab