Nouveautés de la version R2021-02 - 7.3

Notes de version de Talend Data Fabric

EnrichVersion
7.3
EnrichProdName
Talend Data Fabric
task
Installation et mise à niveau
Release Notes

Big Data : nouvelles fonctionnalités

Fonctionnalité

Description

Support de Spark 3.0 en mode local pour les Jobs Spark Talend supporte à présent Spark 3.0 en mode local lors de l'exécution de Jobs Spark dans le Studio Talend.
Remarque : Les éléments suivants ne supportent pas Spark 3.0 en mode local :
  • ADLS Gen2
  • tCassandraInput et tCassandraOutput
  • tElasticSearchInput et tElasticSearchOutput
Support de Databricks 7.3 LTS avec les composants Spark 3.0 (aperçu technique)
En aperçu technique, vous pouvez à présent exécuter des Jobs Spark Batch et Spark Streaming sur la distribution Databricks 7.3 LTS, sur AWS et sur Azure pour des clusters interactifs et transitoires, avec Spark 3.0. Les composants suivants sont supportés :
  • tAvroInput et tAvroOutput
  • tAzureFSConfiguration
  • tFileInputDelimited et tFileOutputDelimited
  • tFileInputJSON et tFileOutputJSON
  • tFileInputParquet et tFileOutputParquet
  • tFileInputXML et tFileOutputXML
  • tFixedFlowInput
  • tLogRow
  • tS3Configuration
Important : Comme cette fonctionnalité est disponible en aperçu technique, elle ne convient pas à des environnements de production.
Nouvelles options disponibles pour les clusters transitoires Databricks Vous pouvez adapter votre configuration lorsque vous créez un cluster transitoire Databricks depuis la vue Spark configuration de votre Job Spark. Les propriétés suivantes sont à présent disponibles :
  • Enable credentials passthrough
  • Spot with fall back to On-demand
  • Availability zone (Zone de disponibilité)
  • Max spot price
  • EBS volume type
  • Custom tags
  • Init scripts
L'option d'héritage des identifiants des rôles AWS est disponible pour les composants DynamoDB dans des Jobs Spark Batch Les composants DynamoDB suivants supportent à présent la possibilité d'obtenir des identifiants de sécurité AWS depuis les métadonnées de l'instance Amazon EC2, avec l'option Inherit credentials from AWS role :
  • tDynamoDBInput
  • tDynamoDBOutput
  • tDynamoDBConfiguration

Cela vous permet de ne pas spécifier de clé d'accès ou clé secrète dans le Studio Talend.

Data Integration : nouvelles fonctionnalités

Fonctionnalité

Description

Nouvelle amélioration du partage de bibliothèques

Le Studio Talend supporte à présent la configuration pour partager des bibliothèques de composants vers le référentiel de bibliothèques local au démarrage via la case Share libraries to artifact repository at startup dans la vue Talend > Artifact Repository > Libraries de la fenêtre des Preferences.

Support du mapping Databricks Delta Lake

Le support du mapping Databricks Delta Lake est fourni par les composants suivants.

  • tELTInput, tELTOutput, tELTMap
  • tSQLTemplate, tSQLTemplateMerge, tSQLTemplateAggregate, tSQLTemplateCommit, tSQLTemplateRollback, tSQLTemplateFilterRows, tSQLTemplateFilterColumns

Nouvelles options pour les opérations Update (Mise à jour) et Delete (Suppression) fournies

L'option Use WHERE conditions table et le champ Where conditions table sont fournis dans la vue Basic settings. Cette modification améliore la productivité. Composants concernés :

  • tELTGreenplumOutput, tELTMSSqlOutput, tELTMysqlOutput, tELTNetezzaOutput, tELTOracleOutput, tELTOutput, tELTPostgresqlOutput, tELTSybaseOutput, tELTTeradataOutput, tELTVerticaOutput

tRedshiftBulkExec : nouveau type de fichier supporté

Le composant tRedshiftBulkExec peut à présent charger des données stockées dans des fichiers Apache Parquet.

tFileOutputExcel : nouvelle option fournie pour les fichiers Excel2007

Le composant tFileOutputExcel fournit l'option Truncate characters exceeding max cell length, qui empêche les échecs survenant lorsqu'une chaîne de caractères écrite dans une cellule Excel2007 dépasse la longueur maximale autorisée (32 767 caractères).

tChangeFileEncoding : taille de la mémoire tampon personnalisable

Le composant tChangeFileEncoding fournit le champ Buffer Size, vous permettant de spécifier la taille de la mémoire tampon pour modifier l'encodage du fichier.

Option Safety Switch disponible dans les composants tSalesforceBulkExec et tSalesforceOutputBulkExec

L'option Safety Switch est à présent fournie dans les composants tSalesforceBulkExec et tSalesforceOutputBulkExec pour empêcher une utilisation excessive de la mémoire. Lorsque la base de données contient des colonnes dont la longueur dépasse les 100 000 caractères, n'utilisez pas cette option.

Data Mapper : nouvelles fonctionnalités

Fonctionnalité

Description

Nouvelles options pour les éléments décimaux Dans les propriétés de représentation CSV, Flat, JSON, Map et XML, deux nouvelles options ont été ajoutées pour gérer des éléments décimaux et corriger un problème relatif aux décimaux implicites :
  • L'option Enforce zero scale on output decimals? vous permet de supprimer les chiffres avec décimale, lorsque la propriété Decimal Places est configurée à 0.
  • L'option Decimal sign is implied on output vous permet de supprimer le séparateur décimal dans la sortie.

Data Quality : nouvelles fonctionnalités

Fonctionnalité

Description

Support de Spark 3.0 en mode local Les composants Spark supportent Apache Spark 3.0 en mode local, sauf le tMatchIndex, le tMatchIndexPredict, le tNLPModel, le tNLPPredict et le tNLPPreprocessing.