Nouveautés de la version R2021-01 - 7.3

Notes de version de Talend Data Fabric

EnrichVersion
7.3
EnrichProdName
Talend Data Fabric
task
Installation et mise à niveau
Release Notes

Big Data : nouvelles fonctionnalités

Fonctionnalité

Description

Configuration de la fonctionnalité Assume Role pour les distributions Databricks 5.5 LTS et 6.4

Lorsque vous exécutez un Job sur Databricks 5.5 LTS ou 6.4 et que vous souhaitez écrire et lire des données dans/depuis S3, vous pouvez faire en sorte que votre Job prenne temporairement un rôle et les autorisations liées à ce rôle.

Cela vous permet de ne pas spécifier les clés d'accès et secrète aux clusters Databricks dans les paramètres du composant tS3Configuration. Vous avez juste à spécifier le nom Amazon Resource Name (ARN) du rôle à prendre dans la vue Spark configuration et saisir le nom du bucket, puis cocher la case Inherit credentials from AWS dans la vue Basic settings du composant tS3Configuration.

Configuration simple de Assume Role dans le composant tS3Configuration Lorsque l'option Assume Role est activée dans le composant tS3Configuration, vous pouvez configurer les propriétés suivantes depuis la vue Basic settings afin d'adapter votre configuration :
  • Serial number (Numéro de série)
  • Token Code (Code du jeton)
  • Tags (Étiquettes)
  • Clés de balises transitives
  • Politiques ARN
  • Policy

Cette fonctionnalité est à présent disponible pour la distribution CDP Private Cloud Base 7.1.

Options de topic, partition et clé disponibles dans les composants Kafka Vous pouvez ajouter des informations concernant la clé et la partition utilisées pour les messages dans le composant tKafkaOutput. Le composant tKafkaInput lit ces informations dans son schéma de sortie grâce aux nouveaux attributs suivants : topic, partition et key.

Cette fonctionnalité vous permet de récupérer et afficher plus d'informations dans le message Kafka depuis le topic.

Le tKafkaCommit est disponible dans les Jobs Spark Streaming Vous pouvez utiliser le composant tKafkaCommit dans vos Jobs Spark Streaming avec Spark v2.0 et ultérieures en mode Spark local. Ce composant vous permet de contrôler manuellement le moment du commit de l'offset. Cela vous permet de commiter en une fois, plutôt que de commiter automatiquement à intervalles réguliers.
Distributions dépréciées Les distributions suivantes sont à présent dépréciées :
  • HDP 2.6.0 et versions antérieures
  • Cloudera CDH 5.13 et versions antérieures
  • MapR 5.2.0 et versions antérieures
  • Microsoft HD Insight 3.4 et versions antérieures
  • Databricks 3.5 LTS et versions antérieures
  • Cloudera Altus 1.0
  • Dataproc 1.1

Data Integration : nouvelles fonctionnalités

Fonctionnalité

Description

Mode partagé pour Studio Talend Le Studio Talend supporte à présent le mode partagé, qui permet aux utilisateur·trices d'une machine où est installé le Studio Talend d'utiliser différentes configurations et différents répertoires Workspace.
Amélioration du partage de bibliothèques

Le Studio Talend supporte à présent :

  • la configuration du partage ou non des bibliothèques vers le référentiel des bibliothèques locales au démarrage,
  • le partage des bibliothèques manuellement après le démarrage.

Par défaut, les bibliothèques ne sont pas partagées lors du démarrage du Studio Talend, afin d'améliorer les performances de démarrage.

Personnalisation du chemin d'extraction des fonctions SAP

Vous pouvez spécifier le chemin pour la fonction SAP, afin de générer les fichiers contenant les données extraites. Composants concernés :

  • tELTSAPMap
  • tSAPDSOInput (avec la case Use FTP-Batch Options cochée dans la vue Basic settings)
  • tSAPODPInput (avec la case Use FTP-Batch Options cochée dans la vue Basic settings)
  • tSAPInfoCubeInput (avec la case Use FTP-Batch Options cochée dans la vue Basic settings)

tGPGDecrypt : spécification de paramètres supplémentaires pour la commande de déchiffrement GPG

L'option Use extra parameters est fournie et vous permet de spécifier des paramètres supplémentaires pour la commande de déchiffrement GPG (GPG decrypt).

Support de Greenplum 6.x

Cette version fournit le support de Greenplum 6.x.

Composants Greenplum : le pilote par défaut de la base de données a été modifié

Pour les composants Greenplum, le pilote de la base de données est Greenplum par défaut.

Amélioration du tGreenplumGPLoad

Plusieurs nouvelles fonctionnalités et options ont été ajoutées au tGreenplumGPLoad. Elles sont les suivantes.

  • L'option Populate column list based on the schema dans la vue Basic settings, ajoutant les colonnes définies dans le schéma au fichier YAML.
  • Nouveaux paramètres fournis dans la table Addition options : LOG_ERRORS, MAX_LINE_LENGTH, EXTERNAL_SCHEMA (_ext_stg_objects), PRELOAD_TRUNCATE, PRELOAD_REUSE_TABLES, PRELOAD_STAGING_TABLE, PRELOAD_FAST_MATCH, SQL_BEFORE LOAD et SQL_AFTER LOAD.
  • Les options Remove datafile on successful execution et Gzip compress the datafile dans la vue Advanced settings, supprimant le fichier de données lorsque l'opération de chargement se termine correctement et compressant le fichier de données à l'aide de Gzip.
  • Nouvelles variables globales fournies : NB_LINE_INSERTED, NB_LINE_UPDATED, NB_DATA_ERRORS, GPLOAD_STATUS et GPLOAD_RUNTIME.

Data Quality : nouvelles fonctionnalités

Fonctionnalité

Description

Mode partagé Le Studio Talend supporte à présent le mode partagé. Si vous l'activez, certains chemins changent :
  • Pour le tBRMS, le chemin d'accès au dossier Drools est C:/Users/user-account/studio-path/Drools/.
  • Pour le tDqReportRun, le chemin d'accès au dossier Generated reports est C:/Users/user-account/studio-path/Generated reports/.
  • Pour les index de synonymes, le chemin au dossier addons est C:/Users/user-account/studio-path/addons/.
Bases de données supportées SAP HANA est à présent supportée dans la perspective Profiling pour les schémas Table, View et Calculation.
tDataMasking

tDataUnmasking

Le type de données Dynamic est à présent supporté par le composant Standard.