Big Data : nouvelles fonctionnalités
|
Fonctionnalité |
Description |
Disponible dans |
|---|---|---|
| Dépendances légères pour CDH version 6.x |
Lorsque vous exécutez un Job sur une distribution CDH version 6.x, vous pouvez réduire le temps de lancement du Job en cochant l'option Use lightweight dependencies, situé dans l'onglet Spark Configuration dans le vue Run. Cela permet de n'utiliser que les bibliothèques Talend. L'objectif est de prévenir les problèmes liés aux dépendances, aux signatures manquantes, aux versions de fichiers .jar erronées ou aux fichiers .jar manquants par exemple. Avec cette option, vous pouvez utiliser un autre classpath, différent de celui de Cloudera par défaut, en cochant la case Use custom classpath et en saisissant les Jar à utiliser dans une syntaxe regex, séparés par une virgule.
|
ⓘ Disponible dans : Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform Tous les produits Talend incluant Big Data |
| Personaliser la précision des composants de sortie dans le schéma | Vous pouvez maintenant sélectionner une précision différente pour le type BigDecimal lorsque vous mettez à jour le schéma des composants suivants :
|
ⓘ Disponible dans : Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform Tous les produits Talend incluant Big Data |
| tS3Configuration : paramétrer le nom de la table DynamoDB dans EMRFS | Lorsque vous utilisez l'option vue EMRFS consistent, vous pouvez saisir le nom des métadonnées de la table DynamoDB que vous souhaitez utiliser. |
ⓘ Disponible dans : Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform Tous les produits Talend incluant Big Data |
| Les composants tDeltaLakeInput et tDeltaLakeOutput : De nouveaux chemins de stockage de données sont disponibles | Vous pouvez préciser un chemin externe vers un système de fichier externe depuis la bibliothèque DBFS (ADLS Gen2 ou S3) dans lequel stocker les données.
|
ⓘ Disponible dans : Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform Tous les produits Talend incluant Big Data |
| Le composant tDeltaLakeOutput : De nouvelles opérations sont disponibles dans la propriété Actions | Il est possible de déposer une table provenant de la suppression et la restauration de la table. Vous pouvez également tronquer une table, ce qui supprime les données sans affecter le schéma.
|
ⓘ Disponible dans : Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform Tous les produits Talend incluant Big Data |
| Le composant tDeltaLakeOutput : nouvelle propriété d'optimisation dans la vue Basic settings (Paramètres de base). | Vous pouvez optimiser la disposition des données Delta Lake dans Databricks.
|
ⓘ Disponible dans : Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform Tous les produits Talend incluant Big Data |
| Utilisation d'un fichier de configuration Hadoop avec des Jobs Spark Batch et Spark Streaming | Vous pouvez connecter des Jobs Spark Batch et Spark Streaming à un cluster Hadoop du référentiel à l'aide d'un fichier Jar de configuration. Vous spécifiez le chemin vers de fichier soit dans la configuration Spark du Job, soit dans la configuration du cluster Hadoop. Cette option est disponible uniquement pour le cluster Yarn sur des distributions non Cloud. De manière facultative, vous pouvez contextualiser ce paramètre de connexion afin de connecter automatiquement le bon cluster basé sur l'environnement sur lequel vous souhaitez exécuter le Job. |
ⓘ Disponible dans : Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform Tous les produits Talend incluant Big Data |
|
Support de la Haute Disponibilité pour EMR 5.23 ou plus récent |
La Haute Disponibilité est disponible lorsque vous exécutez des Jobs Talend avec une version 5.23 ou plus de la distribution Amazon EMR. Vous pouvez avoir plusieurs nœuds maître dans votre cluster. |
ⓘ Disponible dans : Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform Tous les produits Talend incluant Big Data |
Data Integration : nouvelles fonctionnalités
|
Fonctionnalité |
Description |
Disponible dans |
|---|---|---|
| amélioration de tDataprepRun | Le composant tDataprepRun retourne maintenant un message d'erreur lors de la création d'une préparation avec un schéma dynamique.
|
ⓘ Disponible dans : Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform MDM Platform Real-Time Big Data Platform Tous les produits Talend sauf Talend ESB |
| amélioration de tELTMap | Dans l'éditeur de mapping ELT du composant tELTMap, vous pouvez maintenant saisir une expression sur plusieurs lignes pour les colonnes en sortie. En saisissant CTRL + Espace dans la nouvelle boite de dialogue, des propositions vous seront faites, comme par exemple les colonnes d'entrée, les colonnes de sortie et les variables de contexte.
|
ⓘ Disponible dans : Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform Tous les produits Talend incluant le Studio Talend |
| amélioration de la génération de fichiers POM | Une nouvelle option, Exclude deleted items (Exclure les fichiers supprimés), est disponible pour la génération de fichiers POM pour les builds Maven. Une fois cette option sélectionnée, les modules des éléments supprimés seront exclus du fichier POM du projet courant et la source des cas de test supprimés ne sera pas générée. Remarque : Il faudra resynchroniser le fichier POM pour appliquer les nouveaux paramètres liés à cette option.
|
ⓘ Disponible dans : Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform Tous les produits Talend incluant le Studio Talend |
| amélioration des mapping de type Talend | Vous pouvez maintenant configurer un modèle par défaut pour chaque type de données dans le fichier de mapping de type Talend. Cela permet aux modèles de date pour les colonnes de type date d'être automatiquement configurés lors de la récupération ou détection du schéma d'une table.
|
ⓘ Disponible dans : Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform Tous les produits Talend incluant le Studio Talend |
|
mise à niveau de la bibliothèque tSSH |
Ganymed est maintenant déprécié et le composant supporte une nouvelle bibliothèque : Apache mina-sshd. |
ⓘ Disponible dans : Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform Tous les produits Talend incluant le Studio Talend |
|
SatSalesforceInput : Nouveau mode de requête |
Le composant tSalesforceInput fournit le mode de requête BulkV2. Il permet d'effectuer des requêtes sur un nombre plus important de données. Ce composant propose également l'option Split query results into small sets dans le mode BulkV2, ce qui permet de séparer les résultats de la requête en ensembles de taille définie. 
|
ⓘ Disponible dans : Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform Tous les produits Talend incluant le Studio Talend |
|
Formatage des dates à l'aide d'un modèle définie dans le schéma |
Les composants tSnowflakeOutput et tSnowflakeOutputBulkExec proposent maintenant l'option Use schema date pattern, qui permet de formater les dates à l'aide de modèle défini dans le schéma. 
|
ⓘ Disponible dans : Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform Tous les produits Talend incluant le Studio Talend |
|
tSnowflakeInput mélioration et renommage de l'option |
Le nom de l'option Allow snowflake to convert columns and tables to uppercase est devenu Use unquoted object identifiers, et sa fonction a été améliorée. 
|
ⓘ Disponible dans : Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform Tous les produits Talend incluant le Studio Talend |
|
tFTPRename : correction du nom des colonnes |
Le composant tFTPRename ne supporte que des noms de fichiers dans le champ Files et la colonne Filemask est maintenant appelée Filename. 
|
ⓘ Disponible dans : Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform Tous les produits Talend incluant le Studio Talend |
|
tS3Connection : accès path-style supporté |
Le composant tS3Connection fournit le support de l'accès path-style. 
|
ⓘ Disponible dans : Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform Tous les produits Talend incluant le Studio Talend |
|
tMongoDBOutput : action sur les champs de données personnalisables |
Pour l'action Upsert with set, vous pouvez spécifier si un champ peut être mis à jour/inséré ou non. 
|
ⓘ Disponible dans : Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform Tous les produits Talend incluant le Studio Talend |
Data Quality : nouvelles fonctionnalités
|
Fonctionnalité |
Description |
Disponible dans |
|---|---|---|
| Standardisation de numéros de téléphone | Les numéros de téléphone peuvent désormais être validés pour une région définie :
La bibliothèque Google libphonenumber a également été mise à jour vers la version la plus récente. |
ⓘ Disponible dans : Big Data Platform Cloud API Services Platform Cloud Big Data Platform Cloud Data Fabric Cloud Data Management Platform Data Fabric Data Management Platform Data Services Platform MDM Platform Real-Time Big Data Platform Tous les produits Talend Platform et Data Fabric |
Intégration d'applications : nouvelles fonctionnalités
|
Fonctionnalité |
Description |
Disponible dans |
|---|---|---|
|
Microservices |
Les métriques Camel sont désormais exposées à Prometheus dans Microservices afin de monitorer l'exécution des Routes, la mémoire JVM, l'utilisation du processeur, etc.
|
ⓘ Disponible dans : Cloud API Services Platform Cloud Data Fabric Data Fabric Data Services Platform ESB MDM Platform Real-Time Big Data Platform Tous les produits Talend incluant ESB |
Intégration continue : nouvelles fonctionnalités
|
Fonctionnalité |
Description |
Disponible dans |
|---|---|---|
| Génération de fichier POM - nouveau paramètre | La commande mvn org.talend.ci:builder-maven-plugin:7.3.3:generateAllPoms vous permet de générer à nouveau tous les fichiers .pom d'un projet avant de le construire. Vous pouvez par exemple utiliser cette commande pour tester une nouvelle version du produit avant de le migrer. |
ⓘ Disponible dans : Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform Tous les produits Talend incluant le Studio Talend |
| Script personnalisé - nouveau paramètre | La commande mvn org.talend.ci:builder-maven-plugin:7.3.3:executeScript vous permet d'écrire votre propre script avec des commandes de CommandLine et de les exécuter au moment du build. |
ⓘ Disponible dans : Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform Tous les produits Talend incluant le Studio Talend |
| Exposition des métriques Camel à Prometheus - nouveau paramètre | Vous pouvez désormais utiliser le paramètre -Dstudio.prometheus.metrics=true pendant la publication d'artefacts ESB dans le Docker, afin d'exposer les métriques Camel à Prometheus et ainsi obtenir plus détails concernant les Routes déployées. |
ⓘ Disponible dans : Cloud API Services Platform Cloud Data Fabric Data Fabric Data Services Platform ESB MDM Platform Real-Time Big Data Platform Tous les produits Talend incluant ESB |
| Mode de débogage - nouveau paramètre | Vous pouvez désormais utiliser le paramètre -Dstudio.talendDebug=true pour obtenir plus de logs. Ce paramètre s'avère utile lorsque que vous essayez de corriger les problèmes de build avec l'équipe de support. |
ⓘ Disponible dans : Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform Tous les produits Talend incluant le Studio Talend |
| Amélioration du build | En fonction des paramètres de votre projet Studio Talend, tous les éléments du projet stockés dans la corbeille peuvent désormais être exclus du buidl d'intégration continue. |
ⓘ Disponible dans : Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform Tous les produits Talend incluant le Studio Talend |