Nouveautés de la version R2021-02 - 7.3

Notes de version des produits Talend Big Data

EnrichVersion
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
task
Installation et mise à niveau
Notes de version

Big Data : nouvelles fonctionnalités

Fonctionnalité

Description

Produit

Support de Spark 3.0 en mode local pour les Jobs Spark Talend supporte à présent Spark 3.0 en mode local lors de l'exécution de Jobs Spark dans le Studio Talend.
Remarque : Les éléments suivants ne supportent pas Spark 3.0 en mode local :
  • ADLS Gen2
  • tCassandraInput et tCassandraOutput
  • tElasticSearchInput et tElasticSearchOutput

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Support de Databricks 7.3 LTS avec les composants Spark 3.0 (aperçu technique)
En aperçu technique, vous pouvez à présent exécuter des Jobs Spark Batch et Spark Streaming sur la distribution Databricks 7.3 LTS, sur AWS et sur Azure pour des clusters interactifs et transitoires, avec Spark 3.0. Les composants suivants sont supportés :
  • tAvroInput et tAvroOutput
  • tAzureFSConfiguration
  • tFileInputDelimited et tFileOutputDelimited
  • tFileInputJSON et tFileOutputJSON
  • tFileInputParquet et tFileOutputParquet
  • tFileInputXML et tFileOutputXML
  • tFixedFlowInput
  • tLogRow
  • tS3Configuration
Important : Comme cette fonctionnalité est disponible en aperçu technique, elle ne convient pas à des environnements de production.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Nouvelles options disponibles pour les clusters transitoires Databricks Vous pouvez adapter votre configuration lorsque vous créez un cluster transitoire Databricks depuis la vue Spark configuration de votre Job Spark. Les propriétés suivantes sont à présent disponibles :
  • Enable credentials passthrough
  • Spot with fall back to On-demand
  • Availability zone (Zone de disponibilité)
  • Max spot price
  • EBS volume type
  • Custom tags
  • Init scripts

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

L'option d'héritage des identifiants des rôles AWS est disponible pour les composants DynamoDB dans des Jobs Spark Batch Les composants DynamoDB suivants supportent à présent la possibilité d'obtenir des identifiants de sécurité AWS depuis les métadonnées de l'instance Amazon EC2, avec l'option Inherit credentials from AWS role :
  • tDynamoDBInput
  • tDynamoDBOutput
  • tDynamoDBConfiguration

Cela vous permet de ne pas spécifier de clé d'accès ou clé secrète dans le Studio Talend.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Integration : nouvelles fonctionnalités

Fonctionnalité

Description

Produit

Nouvelle amélioration du partage de bibliothèques

Le Studio Talend supporte à présent la configuration pour partager des bibliothèques de composants vers le référentiel de bibliothèques local au démarrage via la case Share libraries to artifact repository at startup dans la vue Talend > Artifact Repository > Libraries de la fenêtre des Preferences.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Support du mapping Databricks Delta Lake

Le support du mapping Databricks Delta Lake est fourni par les composants suivants.

  • tELTInput, tELTOutput, tELTMap
  • tSQLTemplate, tSQLTemplateMerge, tSQLTemplateAggregate, tSQLTemplateCommit, tSQLTemplateRollback, tSQLTemplateFilterRows, tSQLTemplateFilterColumns

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Nouvelles options pour les opérations Update (Mise à jour) et Delete (Suppression) fournies

L'option Use WHERE conditions table et le champ Where conditions table sont fournis dans la vue Basic settings. Cette modification améliore la productivité. Composants concernés :

  • tELTGreenplumOutput, tELTMSSqlOutput, tELTMysqlOutput, tELTNetezzaOutput, tELTOracleOutput, tELTOutput, tELTPostgresqlOutput, tELTSybaseOutput, tELTTeradataOutput, tELTVerticaOutput

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tRedshiftBulkExec : nouveau type de fichier supporté

Le composant tRedshiftBulkExec peut à présent charger des données stockées dans des fichiers Apache Parquet.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tFileOutputExcel : nouvelle option fournie pour les fichiers Excel2007

Le composant tFileOutputExcel fournit l'option Truncate characters exceeding max cell length, qui empêche les échecs survenant lorsqu'une chaîne de caractères écrite dans une cellule Excel2007 dépasse la longueur maximale autorisée (32 767 caractères).

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tChangeFileEncoding : taille de la mémoire tampon personnalisable

Le composant tChangeFileEncoding fournit le champ Buffer Size, vous permettant de spécifier la taille de la mémoire tampon pour modifier l'encodage du fichier.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Option Safety Switch disponible dans les composants tSalesforceBulkExec et tSalesforceOutputBulkExec

L'option Safety Switch est à présent fournie dans les composants tSalesforceBulkExec et tSalesforceOutputBulkExec pour empêcher une utilisation excessive de la mémoire. Lorsque la base de données contient des colonnes dont la longueur dépasse les 100 000 caractères, n'utilisez pas cette option.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Mapper : nouvelles fonctionnalités

Fonctionnalité

Description

Produit

Nouvelles options pour les éléments décimaux Dans les propriétés de représentation CSV, Flat, JSON, Map et XML, deux nouvelles options ont été ajoutées pour gérer des éléments décimaux et corriger un problème relatif aux décimaux implicites :
  • L'option Enforce zero scale on output decimals? vous permet de supprimer les chiffres avec décimale, lorsque la propriété Decimal Places est configurée à 0.
  • L'option Decimal sign is implied on output vous permet de supprimer le séparateur décimal dans la sortie.

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Quality : nouvelles fonctionnalités

Fonctionnalité

Description

Produit

Support de Spark 3.0 en mode local Les composants Spark supportent Apache Spark 3.0 en mode local, sauf le tMatchIndex, le tMatchIndexPredict, le tNLPModel, le tNLPPredict et le tNLPPreprocessing.

Talend Big Data Platform

Talend Real-Time Big Data Platform