Nouveautés de la version R2020-09 - 7.3

Notes de version de Talend Data Fabric

EnrichVersion
7.3
EnrichProdName
Talend Data Fabric
task
Installation et mise à niveau
Release Notes

La version mensuelle R2020-09 du Studio apporte les nouvelles fonctionnalités suivantes.

Big Data : nouvelles fonctionnalités

Fonctionnalité

Description

Support de Databricks 6.4 Databricks 6.4 est à présent supporté sur AWS (en aperçu technique) et sur Azure.
Utiliser des requêtes SQL avec le tDeltaLakeInput L'option Query est à présent disponible. Cela vous permet d'utiliser une requête SQL pour récupérer les données.
Modification des règles d'utilisation du tS3Configuration Vous pouvez à présent ajouter plusieurs composants tS3Configuration dans des Jobs Spark Streaming ou Spark Batch. Cela vous permet d'utiliser plusieurs buckets S3 dans vos Jobs et donc de déplacer les données d'un bucket à un autre.
Chiffrement en transit fourni pour le tS3Configuration Lorsque vous utilisez le chiffrement SSE-KMS dans le composant tS3Configuration, vous pouvez à présent choisir si les données sont chiffrées en transit ou non.
Remarque : L'option de chiffrement en transit est sélectionnée par défaut.
Utiliser des arguments génériques et spécifiques avec les composants Sqoop Vous pouvez utiliser des arguments génériques et spécifiques avec les composants Sqoop suivants :
  • tSqoopExport
  • tSqoopImport
  • tSqoopImportAllTables
Authentification par compte de service dans une distribution Google Dataproc Le composant tHiveInput fournit la propriété Authentication type vous permettant de vous authentifier à votre projet à l'aide de votre compte de service ou de la clé d'accès et clé secrète.
Nouveau système de fichiers par défaut pour le tS3Configuration S3N est déprécié. Le système de fichiers S3A devient donc le système de fichiers utilisé par défaut par le tS3Configuration.

Data Integration : nouvelles fonctionnalités

Fonctionnalité

Description

Amélioration de la résolution de conflits Git Le Studio Talend supporte à présent la comparaison entre les termes en conflit pour les types de connexions de métadonnées suivants dans l'éditeur EMF compare :
  • JDBC
  • Azure Storage
  • Data Stewardship
  • Google Drive
  • Marketo
  • MarkLogic
  • Salesforce
  • Snowflake
Amélioration des performances lors de l'identification Les données relatives aux performances du Studio Talend lors de l'identification sont à présent collectées et exportées via l'élément de menu Help > Support Logs.

amélioration des performances d'extraction de données SAP

Le mode stream est disponible pour les extractions de données SAP. Il supporte le multi-thread et améliore les performances de l'extraction. L'implémentation du mode stream remplace le transport SAP TEDK910058.zip par TEDK910105.zip. Le mode stream apporte trois nouveaux paramètres qui permettent de le configurer :#feature.streaming.threadCount, #feature.streaming.topic.partitionCount, et #feature.streaming.topic.replicationFactor. Les options suivantes ont également été ajoutées aux composants tSAPTableInput et tELTSAPMap : Number of threads to extract the data from SAP, Kafka topic partition count, et Max time to wait for more data. Pour extraire les données en mode stream, vous devez également mettre à niveau votre serveur RFC à l'aide du patch disponible ici.

Améioration du tAmazonRedshiftManage

Le composant tAmazonRedshiftManage peut à présent mettre en pause et reprendre un cluster Redshift.

Amélioration des composants tTeradataTPTExec et tTeradataTPTUtility

Les deux composants fournissent l'option Enforce database name on Log, Work, and Error tables, vous permettant de spécifier une base de données pour les tables de travail, log et erreur différente de celle par défaut.

Composants Petals dépréciés

Deux composants, le tPetalsInput et le tPetalsOutput, sont dépréciés.

Clés de schéma utilisées pour les opérations d'upsert

En plus des colonnes de schéma, les clés de schémas peuvent également être utilisées pour les opérations d'upsert. Composants concernés :

  • tSnowflakeOutput
  • tSnowflakeBulkExec
  • tSnowflakeOutputBulkExec
Nouveaux composants disponibles : Composants Delta Lake et RabbitMQ

Les composants suivants sont nouveaux pour le framework de Jobs Standard, dans cette version.

  • tDeltaLakeClose
  • tDeltaLakeConnection
  • tDeltaLakeInput
  • tDeltaLakeOutput
  • tDeltaLakeRow
  • tRabbitMQInput
  • tRabbitMQOutput

Asisstant de métadonnées de connexion Delta Lake

L'assistant vous guide à travers les étapes de la création d'une métadonnée de connexion Delta Lake dans le Studio Talend.

tDatasetInput et tDatasetOutput : la configuration a été simplifiée

tDatasetInput et tDatasetOutput : La liste déroulante Platform de la vue Advanced settings a été retirée.

Composants Neo4J version 4.x dans le Studio

Le tNeo4Jv4Input et le tNeo4jv4Output sont à présent disponibles dans le Studio Talend pour les Jobs Standards.

Data Mapper : nouvelles fonctionnalités

Fonctionnalité

Description

Nouvelles fonctions Deux nouvelles fonctions ont été ajoutées dans Talend Data Mapper :
  • FormatDateTime vous permet de convertir un élément DateTime en une chaîne de caractères avec un modèle spécifique.
  • RightAlign vous permet de spécifier que le texte d'une chaîne de caractères doit être aligné à droite dans un fichier de sortie plat.
Préférence de réflexion Java pour le tHMap Une nouvelle préférence dans les préférences des composants (Components Preferences) vous permet de désactiver l'utilisation de la réflexion Java dans le code généré par le composant tHMap.