Big Data : nouvelles fonctionnalités
|
Fonctionnalité |
Description |
|---|---|
| Support de Spark 3.0 en mode local pour les Jobs Spark | Talend supporte à présent Spark 3.0 en mode local lors de l'exécution de Jobs Spark dans le Studio Talend. Remarque : Les éléments suivants ne supportent pas Spark 3.0 en mode local :
|
| Support de Databricks 7.3 LTS avec les composants Spark 3.0 (aperçu technique) |
En aperçu technique, vous pouvez à présent exécuter des Jobs Spark Batch et Spark Streaming sur la distribution Databricks 7.3 LTS, sur AWS et sur Azure pour des clusters interactifs et transitoires, avec Spark 3.0. Les composants suivants sont supportés :
Important : Comme cette fonctionnalité est disponible en aperçu technique, elle ne convient pas à des environnements de production.
|
| Nouvelles options disponibles pour les clusters transitoires Databricks | Vous pouvez adapter votre configuration lorsque vous créez un cluster transitoire Databricks depuis la vue Spark configuration de votre Job Spark. Les propriétés suivantes sont à présent disponibles :
|
| L'option d'héritage des identifiants des rôles AWS est disponible pour les composants DynamoDB dans des Jobs Spark Batch | Les composants DynamoDB suivants supportent à présent la possibilité d'obtenir des identifiants de sécurité AWS depuis les métadonnées de l'instance Amazon EC2, avec l'option Inherit credentials from AWS role :
Cela vous permet de ne pas spécifier de clé d'accès ou clé secrète dans le Studio Talend. 
|
Data Integration : nouvelles fonctionnalités
|
Fonctionnalité |
Description |
|---|---|
|
Nouvelle amélioration du partage de bibliothèques |
Le Studio Talend supporte à présent la configuration pour partager des bibliothèques de composants vers le référentiel de bibliothèques local au démarrage via la case Share libraries to artifact repository at startup dans la vue de la fenêtre des Preferences. |
Support du mapping Databricks Delta Lake |
Le support du mapping Databricks Delta Lake est fourni par les composants suivants.
|
Nouvelles options pour les opérations Update (Mise à jour) et Delete (Suppression) fournies |
L'option Use WHERE conditions table et le champ Where conditions table sont fournis dans la vue Basic settings. Cette modification améliore la productivité. Composants concernés :
|
tRedshiftBulkExec : nouveau type de fichier supporté |
Le composant tRedshiftBulkExec peut à présent charger des données stockées dans des fichiers Apache Parquet.
|
tFileOutputExcel : nouvelle option fournie pour les fichiers Excel2007 |
Le composant tFileOutputExcel fournit l'option Truncate characters exceeding max cell length, qui empêche les échecs survenant lorsqu'une chaîne de caractères écrite dans une cellule Excel2007 dépasse la longueur maximale autorisée (32 767 caractères).
|
tChangeFileEncoding : taille de la mémoire tampon personnalisable |
Le composant tChangeFileEncoding fournit le champ Buffer Size, vous permettant de spécifier la taille de la mémoire tampon pour modifier l'encodage du fichier.
|
Option Safety Switch disponible dans les composants tSalesforceBulkExec et tSalesforceOutputBulkExec |
L'option Safety Switch est à présent fournie dans les composants tSalesforceBulkExec et tSalesforceOutputBulkExec pour empêcher une utilisation excessive de la mémoire. Lorsque la base de données contient des colonnes dont la longueur dépasse les 100 000 caractères, n'utilisez pas cette option.
|
Data Mapper : nouvelles fonctionnalités
|
Fonctionnalité |
Description |
|---|---|
| Nouvelles options pour les éléments décimaux | Dans les propriétés de représentation CSV, Flat, JSON, Map et XML, deux nouvelles options ont été ajoutées pour gérer des éléments décimaux et corriger un problème relatif aux décimaux implicites :
|
Data Quality : nouvelles fonctionnalités
|
Fonctionnalité |
Description |
|---|---|
| Support de Spark 3.0 en mode local | Les composants Spark supportent Apache Spark 3.0 en mode local, sauf le tMatchIndex, le tMatchIndexPredict, le tNLPModel, le tNLPPredict et le tNLPPreprocessing. |