Nouveautés de la version R2020-08 - Cloud - 7.3

Notes de version de Talend

Version
Cloud
7.3
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud API Services Platform
Talend Cloud Big Data
Talend Cloud Big Data Platform
Talend Cloud Data Integration
Talend Cloud Data Management Platform
Talend Cloud Real-Time Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Talend Cloud API Designer
Talend Cloud API Tester
Talend Cloud Data Inventory
Talend Cloud Data Preparation
Talend Cloud Data Stewardship
Talend Cloud Pipeline Designer
Talend Data Preparation
Talend Data Stewardship
Talend Management Console
Content
Installation et mise à niveau
Notes de version
Last publication date
2024-02-08

Big Data : nouvelles fonctionnalités

Fonctionnalité

Description

Disponible dans

Dépendances légères pour CDH version 6.x
Lorsque vous exécutez un Job sur une distribution CDH version 6.x, vous pouvez réduire le temps de lancement du Job en cochant l'option Use lightweight dependencies, situé dans l'onglet Spark Configuration dans le vue Run. Cela permet de n'utiliser que les bibliothèques Talend. L'objectif est de prévenir les problèmes liés aux dépendances, aux signatures manquantes, aux versions de fichiers .jar erronées ou aux fichiers .jar manquants par exemple. Avec cette option, vous pouvez utiliser un autre classpath, différent de celui de Cloudera par défaut, en cochant la case Use custom classpath et en saisissant les Jar à utiliser dans une syntaxe regex, séparés par une virgule.

Disponible dans :

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Tous les produits Talend incluant Big Data

Personaliser la précision des composants de sortie dans le schéma Vous pouvez maintenant sélectionner une précision différente pour le type BigDecimal lorsque vous mettez à jour le schéma des composants suivants :
  • tDeltaLakeOutput
  • tFileOutputDelimited
  • tFileOutputParquet
  • tHiveOutput

Disponible dans :

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Tous les produits Talend incluant Big Data

tS3Configuration : paramétrer le nom de la table DynamoDB dans EMRFS Lorsque vous utilisez l'option vue EMRFS consistent, vous pouvez saisir le nom des métadonnées de la table DynamoDB que vous souhaitez utiliser.

Disponible dans :

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Tous les produits Talend incluant Big Data

Les composants tDeltaLakeInput et tDeltaLakeOutput : De nouveaux chemins de stockage de données sont disponibles Vous pouvez préciser un chemin externe vers un système de fichier externe depuis la bibliothèque DBFS (ADLS Gen2 ou S3) dans lequel stocker les données.

Disponible dans :

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Tous les produits Talend incluant Big Data

Le composant tDeltaLakeOutput : De nouvelles opérations sont disponibles dans la propriété Actions Il est possible de déposer une table provenant de la suppression et la restauration de la table. Vous pouvez également tronquer une table, ce qui supprime les données sans affecter le schéma.

Disponible dans :

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Tous les produits Talend incluant Big Data

Le composant tDeltaLakeOutput : nouvelle propriété d'optimisation dans la vue Basic settings (Paramètres de base). Vous pouvez optimiser la disposition des données Delta Lake dans Databricks.

Disponible dans :

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Tous les produits Talend incluant Big Data

Utilisation d'un fichier de configuration Hadoop avec des Jobs Spark Batch et Spark Streaming Vous pouvez connecter des Jobs Spark Batch et Spark Streaming à un cluster Hadoop du référentiel à l'aide d'un fichier Jar de configuration. Vous spécifiez le chemin vers de fichier soit dans la configuration Spark du Job, soit dans la configuration du cluster Hadoop. Cette option est disponible uniquement pour le cluster Yarn sur des distributions non Cloud. De manière facultative, vous pouvez contextualiser ce paramètre de connexion afin de connecter automatiquement le bon cluster basé sur l'environnement sur lequel vous souhaitez exécuter le Job.

Disponible dans :

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Tous les produits Talend incluant Big Data

Support de la Haute Disponibilité pour EMR 5.23 ou plus récent

La Haute Disponibilité est disponible lorsque vous exécutez des Jobs Talend avec une version 5.23 ou plus de la distribution Amazon EMR. Vous pouvez avoir plusieurs nœuds maître dans votre cluster.

Disponible dans :

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Tous les produits Talend incluant Big Data

Data Integration : nouvelles fonctionnalités

Fonctionnalité

Description

Disponible dans

amélioration de tDataprepRun Le composant tDataprepRun retourne maintenant un message d'erreur lors de la création d'une préparation avec un schéma dynamique.

Disponible dans :

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend sauf Talend ESB

amélioration de tELTMap Dans l'éditeur de mapping ELT du composant tELTMap, vous pouvez maintenant saisir une expression sur plusieurs lignes pour les colonnes en sortie. En saisissant CTRL + Espace dans la nouvelle boite de dialogue, des propositions vous seront faites, comme par exemple les colonnes d'entrée, les colonnes de sortie et les variables de contexte.

Disponible dans :

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend incluant le Studio Talend

amélioration de la génération de fichiers POM Une nouvelle option, Exclude deleted items (Exclure les fichiers supprimés), est disponible pour la génération de fichiers POM pour les builds Maven. Une fois cette option sélectionnée, les modules des éléments supprimés seront exclus du fichier POM du projet courant et la source des cas de test supprimés ne sera pas générée.
Remarque : Il faudra resynchroniser le fichier POM pour appliquer les nouveaux paramètres liés à cette option.

Disponible dans :

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend incluant le Studio Talend

amélioration des mapping de type Talend Vous pouvez maintenant configurer un modèle par défaut pour chaque type de données dans le fichier de mapping de type Talend. Cela permet aux modèles de date pour les colonnes de type date d'être automatiquement configurés lors de la récupération ou détection du schéma d'une table.

Disponible dans :

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend incluant le Studio Talend

mise à niveau de la bibliothèque tSSH

Ganymed est maintenant déprécié et le composant supporte une nouvelle bibliothèque : Apache mina-sshd.

Disponible dans :

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend incluant le Studio Talend

SatSalesforceInput : Nouveau mode de requête

Le composant tSalesforceInput fournit le mode de requête BulkV2. Il permet d'effectuer des requêtes sur un nombre plus important de données. Ce composant propose également l'option Split query results into small sets dans le mode BulkV2, ce qui permet de séparer les résultats de la requête en ensembles de taille définie.

Disponible dans :

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend incluant le Studio Talend

Formatage des dates à l'aide d'un modèle définie dans le schéma

Les composants tSnowflakeOutput et tSnowflakeOutputBulkExec proposent maintenant l'option Use schema date pattern, qui permet de formater les dates à l'aide de modèle défini dans le schéma.

Disponible dans :

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend incluant le Studio Talend

tSnowflakeInput mélioration et renommage de l'option

Le nom de l'option Allow snowflake to convert columns and tables to uppercase est devenu Use unquoted object identifiers, et sa fonction a été améliorée.

Disponible dans :

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend incluant le Studio Talend

tFTPRename : correction du nom des colonnes

Le composant tFTPRename ne supporte que des noms de fichiers dans le champ Files et la colonne Filemask est maintenant appelée Filename.

Disponible dans :

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend incluant le Studio Talend

tS3Connection : accès path-style supporté

Le composant tS3Connection fournit le support de l'accès path-style.

Disponible dans :

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend incluant le Studio Talend

tMongoDBOutput : action sur les champs de données personnalisables

Pour l'action Upsert with set, vous pouvez spécifier si un champ peut être mis à jour/inséré ou non.

Disponible dans :

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend incluant le Studio Talend

Data Quality : nouvelles fonctionnalités

Fonctionnalité

Description

Disponible dans

Standardisation de numéros de téléphone Les numéros de téléphone peuvent désormais être validés pour une région définie :
  • Une colonne a été ajoutée au composanttStandardizePhoneNumber : isValidPhoneNumberForRegion
  • Un nouvel indicateur de statistique de numéro de téléphone a été ajouté :Valid Phone Number for Region Count

La bibliothèque Google libphonenumber a également été mise à jour vers la version la plus récente.

Disponible dans :

Big Data Platform

Cloud API Services Platform

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Management Platform

Data Fabric

Data Management Platform

Data Services Platform

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend Platform et Data Fabric

Intégration d'applications : nouvelles fonctionnalités

Fonctionnalité

Description

Disponible dans

Microservices

Les métriques Camel sont désormais exposées à Prometheus dans Microservices afin de monitorer l'exécution des Routes, la mémoire JVM, l'utilisation du processeur, etc.

Disponible dans :

Cloud API Services Platform

Cloud Data Fabric

Data Fabric

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend incluant ESB

Intégration continue : nouvelles fonctionnalités

Fonctionnalité

Description

Disponible dans

Génération de fichier POM - nouveau paramètre La commande mvn org.talend.ci:builder-maven-plugin:7.3.3:generateAllPoms vous permet de générer à nouveau tous les fichiers .pom d'un projet avant de le construire. Vous pouvez par exemple utiliser cette commande pour tester une nouvelle version du produit avant de le migrer.

Disponible dans :

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend incluant le Studio Talend

Script personnalisé - nouveau paramètre La commande mvn org.talend.ci:builder-maven-plugin:7.3.3:executeScript vous permet d'écrire votre propre script avec des commandes de CommandLine et de les exécuter au moment du build.

Disponible dans :

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend incluant le Studio Talend

Exposition des métriques Camel à Prometheus - nouveau paramètre Vous pouvez désormais utiliser le paramètre -Dstudio.prometheus.metrics=true pendant la publication d'artefacts ESB dans le Docker, afin d'exposer les métriques Camel à Prometheus et ainsi obtenir plus détails concernant les Routes déployées.

Disponible dans :

Cloud API Services Platform

Cloud Data Fabric

Data Fabric

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend incluant ESB

Mode de débogage - nouveau paramètre Vous pouvez désormais utiliser le paramètre -Dstudio.talendDebug=true pour obtenir plus de logs. Ce paramètre s'avère utile lorsque que vous essayez de corriger les problèmes de build avec l'équipe de support.

Disponible dans :

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend incluant le Studio Talend

Amélioration du build En fonction des paramètres de votre projet Studio Talend, tous les éléments du projet stockés dans la corbeille peuvent désormais être exclus du buidl d'intégration continue.

Disponible dans :

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

Tous les produits Talend incluant le Studio Talend