Nouveautés de la version R2021-01 - 7.3

Notes de version des produits Talend Big Data

EnrichVersion
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
task
Installation et mise à niveau
Notes de version

Big Data : nouvelles fonctionnalités

Fonctionnalité

Description

Produit

Configuration de la fonctionnalité Assume Role pour les distributions Databricks 5.5 LTS et 6.4

Lorsque vous exécutez un Job sur Databricks 5.5 LTS ou 6.4 et que vous souhaitez écrire et lire des données dans/depuis S3, vous pouvez faire en sorte que votre Job prenne temporairement un rôle et les autorisations liées à ce rôle.

Cela vous permet de ne pas spécifier les clés d'accès et secrète aux clusters Databricks dans les paramètres du composant tS3Configuration. Vous avez juste à spécifier le nom Amazon Resource Name (ARN) du rôle à prendre dans la vue Spark configuration et saisir le nom du bucket, puis cocher la case Inherit credentials from AWS dans la vue Basic settings du composant tS3Configuration.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Configuration simple de Assume Role dans le composant tS3Configuration Lorsque l'option Assume Role est activée dans le composant tS3Configuration, vous pouvez configurer les propriétés suivantes depuis la vue Basic settings afin d'adapter votre configuration :
  • Serial number (Numéro de série)
  • Token Code (Code du jeton)
  • Tags (Étiquettes)
  • Clés de balises transitives
  • Politiques ARN
  • Policy

Cette fonctionnalité est à présent disponible pour la distribution CDP Private Cloud Base 7.1.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Options de topic, partition et clé disponibles dans les composants Kafka Vous pouvez ajouter des informations concernant la clé et la partition utilisées pour les messages dans le composant tKafkaOutput. Le composant tKafkaInput lit ces informations dans son schéma de sortie grâce aux nouveaux attributs suivants : topic, partition et key.

Cette fonctionnalité vous permet de récupérer et afficher plus d'informations dans le message Kafka depuis le topic.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Le tKafkaCommit est disponible dans les Jobs Spark Streaming Vous pouvez utiliser le composant tKafkaCommit dans vos Jobs Spark Streaming avec Spark v2.0 et ultérieures en mode Spark local. Ce composant vous permet de contrôler manuellement le moment du commit de l'offset. Cela vous permet de commiter en une fois, plutôt que de commiter automatiquement à intervalles réguliers.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Distributions dépréciées Les distributions suivantes sont à présent dépréciées :
  • HDP 2.6.0 et versions antérieures
  • Cloudera CDH 5.13 et versions antérieures
  • MapR 5.2.0 et versions antérieures
  • Microsoft HD Insight 3.4 et versions antérieures
  • Databricks 3.5 LTS et versions antérieures
  • Cloudera Altus 1.0
  • Dataproc 1.1

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Integration : nouvelles fonctionnalités

Fonctionnalité

Description

Produit

Mode partagé pour Studio Talend Le Studio Talend supporte à présent le mode partagé, qui permet aux utilisateur·trices d'une machine où est installé le Studio Talend d'utiliser différentes configurations et différents répertoires Workspace.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Amélioration du partage de bibliothèques

Le Studio Talend supporte à présent :

  • la configuration du partage ou non des bibliothèques vers le référentiel des bibliothèques locales au démarrage,
  • le partage des bibliothèques manuellement après le démarrage.

Par défaut, les bibliothèques ne sont pas partagées lors du démarrage du Studio Talend, afin d'améliorer les performances de démarrage.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Personnalisation du chemin d'extraction des fonctions SAP

Vous pouvez spécifier le chemin pour la fonction SAP, afin de générer les fichiers contenant les données extraites. Composants concernés :

  • tELTSAPMap
  • tSAPDSOInput (avec la case Use FTP-Batch Options cochée dans la vue Basic settings)
  • tSAPODPInput (avec la case Use FTP-Batch Options cochée dans la vue Basic settings)
  • tSAPInfoCubeInput (avec la case Use FTP-Batch Options cochée dans la vue Basic settings)

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tGPGDecrypt : spécification de paramètres supplémentaires pour la commande de déchiffrement GPG

L'option Use extra parameters est fournie et vous permet de spécifier des paramètres supplémentaires pour la commande de déchiffrement GPG (GPG decrypt).

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Support de Greenplum 6.x

Cette version fournit le support de Greenplum 6.x.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Composants Greenplum : le pilote par défaut de la base de données a été modifié

Pour les composants Greenplum, le pilote de la base de données est Greenplum par défaut.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Amélioration du tGreenplumGPLoad

Plusieurs nouvelles fonctionnalités et options ont été ajoutées au tGreenplumGPLoad. Elles sont les suivantes.

  • L'option Populate column list based on the schema dans la vue Basic settings, ajoutant les colonnes définies dans le schéma au fichier YAML.
  • Nouveaux paramètres fournis dans la table Addition options : LOG_ERRORS, MAX_LINE_LENGTH, EXTERNAL_SCHEMA (_ext_stg_objects), PRELOAD_TRUNCATE, PRELOAD_REUSE_TABLES, PRELOAD_STAGING_TABLE, PRELOAD_FAST_MATCH, SQL_BEFORE LOAD et SQL_AFTER LOAD.
  • Les options Remove datafile on successful execution et Gzip compress the datafile dans la vue Advanced settings, supprimant le fichier de données lorsque l'opération de chargement se termine correctement et compressant le fichier de données à l'aide de Gzip.
  • Nouvelles variables globales fournies : NB_LINE_INSERTED, NB_LINE_UPDATED, NB_DATA_ERRORS, GPLOAD_STATUS et GPLOAD_RUNTIME.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Quality : nouvelles fonctionnalités

Fonctionnalité

Description

Produit

Mode partagé Le Studio Talend supporte à présent le mode partagé. Si vous l'activez, certains chemins changent :
  • Pour le tBRMS, le chemin d'accès au dossier Drools est C:/Users/user-account/studio-path/Drools/.
  • Pour le tDqReportRun, le chemin d'accès au dossier Generated reports est C:/Users/user-account/studio-path/Generated reports/.
  • Pour les index de synonymes, le chemin au dossier addons est C:/Users/user-account/studio-path/addons/.

Talend Big Data Platform

Talend Real-Time Big Data Platform

Bases de données supportées SAP HANA est à présent supportée dans la perspective Profiling pour les schémas Table, View et Calculation.

Talend Big Data Platform

Talend Real-Time Big Data Platform

tDataMasking

tDataUnmasking

Le type de données Dynamic est à présent supporté par le composant Standard.

Talend Big Data Platform

Talend Real-Time Big Data Platform