Nouveautés de la version R2020-08 - 7.3

Notes de version des produits Talend Data Integration

EnrichVersion
7.3
EnrichProdName
Talend Data Integration
Talend Data Management Platform
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
task
Installation et mise à niveau
Release Notes

La version mensuelle R2020-08 du Studio apporte les nouvelles fonctionnalités suivantes.

Big Data : nouvelles fonctionnalités

Fonctionnalité

Description

Produit

Dépendances légères pour CDH version 6.x
Lorsque vous exécutez un Job sur une distribution CDH version 6.x, vous pouvez réduire le temps de lancement du Job en cochant l'option Use lightweight dependencies, situé dans l'onglet Spark Configuration dans le vue Run. Cela permet de n'utiliser que les bibliothèques Talend. L'objectif est de prévenir les problèmes liés aux dépendances, aux signatures manquantes, aux versions de fichiers .jar erronées ou aux fichiers .jar manquants par exemple. Avec cette option, vous pouvez utiliser un autre classpath, différent de celui de Cloudera par défaut, en cochant la case Use custom classpath et en saisissant les Jar à utiliser dans une syntaxe regex, séparés par une virgule.
Personaliser la précision des composants de sortie dans le schéma Vous pouvez maintenant sélectionner une précision différente pour le type BigDecimal lorsque vous mettez à jour le schéma des composants suivants :
  • tDeltaLakeOutput
  • tFileOutputDelimited
  • tFileOutputParquet
  • tHiveOutput
tS3Configuration : paramétrer le nom de la table DynamoDB dans EMRFS Lorsque vous utilisez l'option vue EMRFS consistent, vous pouvez saisir le nom des métadonnées de la table DynamoDB que vous souhaitez utiliser.
Les composants tDeltaLakeInput et tDeltaLakeOutput : De nouveaux chemins de stockage de données sont disponibles Vous pouvez préciser un chemin externe vers un système de fichier externe depuis la bibliothèque DBFS (ADLS Gen2 ou S3) dans lequel stocker les données.
Le composant tDeltaLakeOutput : De nouvelles opérations sont disponibles dans la propriété Actions Il est possible de déposer une table provenant de la suppression et la restauration de la table. Vous pouvez également tronquer une table, ce qui supprime les données sans affecter le schéma.
Le composant tDeltaLakeOutput : nouvelle propriété d'optimisation dans la vue Basic settings (Paramètres de base). Vous pouvez optimiser la disposition des données Delta Lake dans Databricks.
Utilisation d'un fichier de configuration Hadoop avec des Jobs Spark Batch et Spark Streaming Vous pouvez connecter des Jobs Spark Batch et Spark Streaming à un cluster Hadoop du référentiel à l'aide d'un fichier Jar de configuration. Vous spécifiez le chemin vers de fichier soit dans la configuration Spark du Job, soit dans la configuration du cluster Hadoop. Cette option est disponible uniquement pour le cluster Yarn sur des distributions non Cloud. De manière facultative, vous pouvez contextualiser ce paramètre de connexion afin de connecter automatiquement le bon cluster basé sur l'environnement sur lequel vous souhaitez exécuter le Job.

Support de la Haute Disponibilité pour EMR 5.23 ou plus récent

La Haute Disponibilité est disponible lorsque vous exécutez des Jobs Talend avec une version 5.23 ou plus de la distribution Amazon EMR. Vous pouvez avoir plusieurs nœuds maître dans votre cluster.

Data Integration : nouvelles fonctionnalités

Fonctionnalité

Description

Produit

amélioration de tDataprepRun Le composant tDataprepRun retourne maintenant un message d'erreur lors de la création d'une préparation avec un schéma dynamique.

Talend Data Integration

Talend Data Management Platform

amélioration de tELTMap Dans l'éditeur de mapping ELT du composant tELTMap, vous pouvez maintenant saisir une expression sur plusieurs lignes pour les colonnes en sortie. En saisissant CTRL + Espace dans la nouvelle boite de dialogue, des propositions vous seront faites, comme par exemple les colonnes d'entrée, les colonnes de sortie et les variables de contexte.

Talend Data Integration

Talend Data Management Platform

amélioration de la génération de fichiers POM Une nouvelle option, Exclude deleted items (Exclure les fichiers supprimés), est disponible pour la génération de fichiers POM pour les builds Maven. Une fois cette option sélectionnée, les modules des éléments supprimés seront exclus du fichier POM du projet courant et la source des cas de test supprimés ne sera pas générée.
Remarque : Il faudra resynchroniser le fichier POM pour appliquer les nouveaux paramètres liés à cette option.

Talend Data Integration

Talend Data Management Platform

amélioration des mapping de type Talend Vous pouvez maintenant configurer un modèle par défaut pour chaque type de données dans le fichier de mapping de type Talend. Cela permet aux modèles de date pour les colonnes de type date d'être automatiquement configurés lors de la récupération ou détection du schéma d'une table.

Talend Data Integration

Talend Data Management Platform

mise à niveau de la bibliothèque tSSH

Ganymed est maintenant déprécié et le composant supporte une nouvelle bibliothèque : Apache mina-sshd.

Talend Data Integration

Talend Data Management Platform

SatSalesforceInput : Nouveau mode de requête

Le composant tSalesforceInput fournit le mode de requête BulkV2. Il permet d'effectuer des requêtes sur un nombre plus important de données. Ce composant propose également l'option Split query results into small sets dans le mode BulkV2, ce qui permet de séparer les résultats de la requête en ensembles de taille définie.

Talend Data Integration

Talend Data Management Platform

Formatage des dates à l'aide d'un modèle définie dans le schéma

Les composants tSnowflakeOutput et tSnowflakeOutputBulkExec proposent maintenant l'option Use schema date pattern, qui permet de formater les dates à l'aide de modèle défini dans le schéma.

Talend Data Integration

Talend Data Management Platform

tSnowflakeInput mélioration et renommage de l'option

Le nom de l'option Allow snowflake to convert columns and tables to uppercase est devenu Use unquoted object identifiers, et sa fonction a été améliorée.

Talend Data Integration

Talend Data Management Platform

tFTPRename : correction du nom des colonnes

Le composant tFTPRename ne supporte que des noms de fichiers dans le champ Files et la colonne Filemask est maintenant appelée Filename.

Talend Data Integration

Talend Data Management Platform

Data Quality : nouvelles fonctionnalités

Fonctionnalité

Description

Produit

Standardisation de numéros de téléphone Les numéros de téléphone peuvent désormais être validés pour une région définie :
  • Une colonne a été ajoutée au composanttStandardizePhoneNumber : isValidPhoneNumberForRegion
  • Un nouvel indicateur de statistique de numéro de téléphone a été ajouté :Valid Phone Number for Region Count

La bibliothèque Google libphonenumber a également été mise à jour vers la version la plus récente.

Talend Data Management Platform

ESB : nouvelles fonctionnalités

Fonctionnalité

Description

Produit

Microservices

Les métriques Camel sont désormais exposées à Prometheus dans Microservices afin de monitorer l'exécution des Routes, la mémoire JVM, l'utilisation du processeur, etc.

Intégration continue : nouvelles fonctionnalités

Fonctionnalité

Description

Produit

Génération de fichier POM - nouveau paramètre La commande mvn org.talend.ci:builder-maven-plugin:7.3.3:generateAllPoms vous permet de générer à nouveau tous les fichiers .pom d'un projet avant de le construire. Vous pouvez par exemple utiliser cette commande pour tester une nouvelle version du produit avant de le migrer.

Talend Data Integration

Talend Data Management Platform

Script personnalisé - nouveau paramètre La commande mvn org.talend.ci:builder-maven-plugin:7.3.3:executeScript vous permet d'écrire votre propre script avec des commandes de CommandLine et de les exécuter au moment du build.

Talend Data Integration

Talend Data Management Platform

Exposition des métriques Camel à Prometheus - nouveau paramètre Vous pouvez désormais utiliser le paramètre -Dstudio.prometheus.metrics=true pendant la publication d'artefacts ESB dans le Docker, afin d'exposer les métriques Camel à Prometheus et ainsi obtenir plus détails concernant les Routes déployées.

Talend Data Integration

Talend Data Management Platform

Mode de débogage - nouveau paramètre Vous pouvez désormais utiliser le paramètre -Dstudio.talendDebug=true pour obtenir plus de logs. Ce paramètre s'avère utile lorsque que vous essayez de corriger les problèmes de build avec l'équipe de support.

Talend Data Integration

Talend Data Management Platform

Amélioration du build En fonction des paramètres de votre projet Studio Talend, tous les éléments du projet stockés dans la corbeille peuvent désormais être exclus du buidl d'intégration continue.

Talend Data Integration

Talend Data Management Platform