La version mensuelle R2020-08 du Studio apporte les nouvelles fonctionnalités suivantes.
Big Data : nouvelles fonctionnalités
|
Fonctionnalité |
Description |
|---|---|
| Dépendances légères pour CDH version 6.x |
Lorsque vous exécutez un Job sur une distribution CDH version 6.x, vous pouvez réduire le temps de lancement du Job en cochant l'option Use lightweight dependencies, situé dans l'onglet Spark Configuration dans le vue Run. Cela permet de n'utiliser que les bibliothèques Talend. L'objectif est de prévenir les problèmes liés aux dépendances, aux signatures manquantes, aux versions de fichiers .jar erronées ou aux fichiers .jar manquants par exemple. Avec cette option, vous pouvez utiliser un autre classpath, différent de celui de Cloudera par défaut, en cochant la case Use custom classpath et en saisissant les Jar à utiliser dans une syntaxe regex, séparés par une virgule.
|
| Personaliser la précision des composants de sortie dans le schéma | Vous pouvez maintenant sélectionner une précision différente pour le type BigDecimal lorsque vous mettez à jour le schéma des composants suivants :
|
| tS3Configuration : paramétrer le nom de la table DynamoDB dans EMRFS | Lorsque vous utilisez l'option vue EMRFS consistent, vous pouvez saisir le nom des métadonnées de la table DynamoDB que vous souhaitez utiliser. |
| Les composants tDeltaLakeInput et tDeltaLakeOutput : De nouveaux chemins de stockage de données sont disponibles | Vous pouvez préciser un chemin externe vers un système de fichier externe depuis la bibliothèque DBFS (ADLS Gen2 ou S3) dans lequel stocker les données.
|
| Le composant tDeltaLakeOutput : De nouvelles opérations sont disponibles dans la propriété Actions | Il est possible de déposer une table provenant de la suppression et la restauration de la table. Vous pouvez également tronquer une table, ce qui supprime les données sans affecter le schéma.
|
| Le composant tDeltaLakeOutput : nouvelle propriété d'optimisation dans la vue Basic settings (Paramètres de base). | Vous pouvez optimiser la disposition des données Delta Lake dans Databricks.
|
| Utilisation d'un fichier de configuration Hadoop avec des Jobs Spark Batch et Spark Streaming | Vous pouvez connecter des Jobs Spark Batch et Spark Streaming à un cluster Hadoop du référentiel à l'aide d'un fichier Jar de configuration. Vous spécifiez le chemin vers de fichier soit dans la configuration Spark du Job, soit dans la configuration du cluster Hadoop. Cette option est disponible uniquement pour le cluster Yarn sur des distributions non Cloud. De manière facultative, vous pouvez contextualiser ce paramètre de connexion afin de connecter automatiquement le bon cluster basé sur l'environnement sur lequel vous souhaitez exécuter le Job. |
|
Support de la Haute Disponibilité pour EMR 5.23 ou plus récent |
La Haute Disponibilité est disponible lorsque vous exécutez des Jobs Talend avec une version 5.23 ou plus de la distribution Amazon EMR. Vous pouvez avoir plusieurs nœuds maître dans votre cluster. |
Data Integration : nouvelles fonctionnalités
|
Fonctionnalité |
Description |
|---|---|
| amélioration de tDataprepRun | Le composant tDataprepRun retourne maintenant un message d'erreur lors de la création d'une préparation avec un schéma dynamique.
|
| amélioration de tELTMap | Dans l'éditeur de mapping ELT du composant tELTMap, vous pouvez maintenant saisir une expression sur plusieurs lignes pour les colonnes en sortie. En saisissant CTRL + Espace dans la nouvelle boite de dialogue, des propositions vous seront faites, comme par exemple les colonnes d'entrée, les colonnes de sortie et les variables de contexte.
|
| amélioration de la génération de fichiers POM | Une nouvelle option, Exclude deleted items (Exclure les fichiers supprimés), est disponible pour la génération de fichiers POM pour les builds Maven. Une fois cette option sélectionnée, les modules des éléments supprimés seront exclus du fichier POM du projet courant et la source des cas de test supprimés ne sera pas générée. Remarque : Il faudra resynchroniser le fichier POM pour appliquer les nouveaux paramètres liés à cette option.
|
| amélioration des mapping de type Talend | Vous pouvez maintenant configurer un modèle par défaut pour chaque type de données dans le fichier de mapping de type Talend. Cela permet aux modèles de date pour les colonnes de type date d'être automatiquement configurés lors de la récupération ou détection du schéma d'une table.
|
mise à niveau de la bibliothèque tSSH |
Ganymed est maintenant déprécié et le composant supporte une nouvelle bibliothèque : Apache mina-sshd. |
SatSalesforceInput : Nouveau mode de requête |
Le composant tSalesforceInput fournit le mode de requête BulkV2. Il permet d'effectuer des requêtes sur un nombre plus important de données. Ce composant propose également l'option Split query results into small sets dans le mode BulkV2, ce qui permet de séparer les résultats de la requête en ensembles de taille définie.   |
Formatage des dates à l'aide d'un modèle définie dans le schéma |
Les composants tSnowflakeOutput et tSnowflakeOutputBulkExec proposent maintenant l'option Use schema date pattern, qui permet de formater les dates à l'aide de modèle défini dans le schéma.  |
tSnowflakeInput mélioration et renommage de l'option |
Le nom de l'option Allow snowflake to convert columns and tables to uppercase est devenu Use unquoted object identifiers, et sa fonction a été améliorée. 
|
tFTPRename : correction du nom des colonnes |
Le composant tFTPRename ne supporte que des noms de fichiers dans le champ Files et la colonne Filemask est maintenant appelée Filename. 
|
tS3Connection: accès path-style supporté |
Le composant tS3Connection fournit le support de l'accès path-style. 
|
tMongoDBOutput : action sur les champs de données personnalisables |
Pour l'action Upsert with set, vous pouvez spécifier si un champ peut être mis à jour/inséré ou non. 
|
Data Quality : nouvelles fonctionnalités
|
Fonctionnalité |
Description |
|---|---|
| Standardisation de numéros de téléphone | Les numéros de téléphone peuvent désormais être validés pour une région définie :
La bibliothèque Google libphonenumber a également été mise à jour vers la version la plus récente. |
ESB : nouvelles fonctionnalités
|
Fonctionnalité |
Description |
|---|---|
|
Microservices |
Les métriques Camel sont désormais exposées à Prometheus dans Microservices afin de monitorer l'exécution des Routes, la mémoire JVM, l'utilisation du processeur, etc.
|
Intégration continue : nouvelles fonctionnalités
|
Fonctionnalité |
Description |
|---|---|
| Génération de fichier POM - nouveau paramètre | La commande mvn org.talend.ci:builder-maven-plugin:7.3.3:generateAllPoms vous permet de générer à nouveau tous les fichiers .pom d'un projet avant de le construire. Vous pouvez par exemple utiliser cette commande pour tester une nouvelle version du produit avant de le migrer. |
| Script personnalisé - nouveau paramètre | La commande mvn org.talend.ci:builder-maven-plugin:7.3.3:executeScript vous permet d'écrire votre propre script avec des commandes de CommandLine et de les exécuter au moment du build. |
| Exposition des métriques Camel à Prometheus - nouveau paramètre | Vous pouvez désormais utiliser le paramètre -Dstudio.prometheus.metrics=true pendant la publication d'artefacts ESB dans le Docker, afin d'exposer les métriques Camel à Prometheus et ainsi obtenir plus détails concernant les Routes déployées. |
| Mode de débogage - nouveau paramètre | Vous pouvez désormais utiliser le paramètre -Dstudio.talendDebug=true pour obtenir plus de logs. Ce paramètre s'avère utile lorsque que vous essayez de corriger les problèmes de build avec l'équipe de support. |
| Amélioration du build | En fonction des paramètres de votre projet Studio Talend, tous les éléments du projet stockés dans la corbeille peuvent désormais être exclus du buidl d'intégration continue. |