Nouvelles fonctionnalités de la R2020-05 - 7.3

Notes de version des produits Talend Data Integration

EnrichVersion
7.3
EnrichProdName
Talend Data Integration
Talend Data Management Platform
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
task
Installation et mise à niveau
Release Notes

La version mensuelle R2020-05 du Studio apporte les nouvelles fonctionnalités suivantes :

Big Data

Fonctionnalité

Description

Produit

Support d'EMR 5.29 Vous pouvez maintenant exécuter des Jobs Talend avec la distribution Amazon EMR version 5.29.
Effectuer un upsert des tableaux Delta Lake existants avec de nouvelles données Au moment de la configuration de la sauvegarde du jeu de données dans tDeltaLakeOutput, sélectionnez Merge (Fusionner) pour effectuer un upsert d'un tableau Delta Lake existant, soit avec de nouvelles données d'un flux, soit depuis un autre tableau Delta Lake. De nouveau champs permettant de configurer quelles colonnes fusionner, et comment opérer la fusion sont disponibles.
Vérification de la cohérence des données avec le cluster EMR Lorsque vous utilisez le composant tS3Configuration, activez l'option Use EMRFS consistent view (Utiliser la vue EMRFS consistent), pour utiliser cette vue. Cette option permet aux clusters EMR de vérifier la liste et la cohérence de lecture après écriture pour les objets Amazon S3 écrits par ou synchronisés avec EMRFS.
Configuration de Spark Catalog dans le composant tHiveConfiguration Vous devez indiquer une implémentation Spark avec la propriété Spark Catalog dans la configuration du composant tHiveConfiguration. La valeur à sélectionner sera différente suivant si le Hive metastore est externe à votre cluster ou non. Cette configuration évite les erreurs de runtime. Cette propriété n'est disponible que pour les Jobs Spark Batch.
Support d'Oracle 19c Les composants Big Data ci-dessous supportent maintenant Oracle 19c.
Spark Batch :
  • tOracleConfiguration
  • tOracleInput
  • tOracleOutput
Spark Streaming :
  • tOracleConfiguration
  • tOracleLookupInput
  • tOracleOutput
Configuration avancée de la fonction Assume Role (Endosser un rôle) des composants DynamoDB Dans les composants tDynamoDBInput et tDynamoDBOutput, lorsque l'option Assume role (Endosser un rôle) est activée, vous pouvez maintenant configurer les propriétés ci-dessous depuis la vue Advanced settings (Paramètres avancés) afin d'affiner votre configuration.
  • Signing region (Région d'identification) (obligatoire)
  • Id externe
  • Serial number
  • Token code
  • Tags
  • IAM Policy ARNs
  • Policy
Accéder aux données depuis un index secondaire Lorsque vous récupérez les données d'un tableau avec le composant tDynamoDBInput, vous pouvez indiquer un index secondaire dans la configuration du composant afin d'améliorer les performances des requêtes et des scans.

Data Integration

Fonctionnalité

Description

Produit

Amélioration de la connexion distante à TAC De nouveaux identifiants seront demandés dans le Studio Talend aux utilisateurs et utilisatrices et utilisatrices de LDAP si le mot de passe AD a été modifié.

Talend Data Integration

Talend Data Management Platform

Amélioration de la barre de titre Le titre du Studio Talend dans la barre de titre sera mis à jour afin d'afficher les informations de version une fois le patch installé.

Talend Data Integration

Talend Data Management Platform

Mise à niveau du pilote AWS SDK Le pilote AWS SDK pour la connexion SSO Redshift dans les métadonnées du Studio Talend a été mis à niveau.

Talend Data Integration

Talend Data Management Platform

Amélioration de la propagation des contextes La propagation des contextes depuis le projet de référence a été améliorée dans la partie intégration de données. Toute mise à jour de variable de contexte dans le projet de référence peut maintenant être automatiquement synchronisée avec le projet principal.

Talend Data Integration

Talend Data Management Platform

Renommage de composants Les composants tSQLDWH ont été renommés. La liste ci-dessous donne les détails du renommage.
  • tSQLDWHBulkExec s'appelle maintenant tAzureSynapseBulkExec
  • tSQLDWHClose s'appelle maintenant tAzureSynapseClose
  • tSQLDWHCommit s'appelle maintenant tAzureSynapseCommit
  • tSQLDWHConnection s'appelle maintenant tAzureSynapseConnection
  • tSQLDWHInput s'appelle maintenant tAzureSynapseInput
  • tSQLDWHOutput s'appelle maintenant tAzureSynapseOutput
  • tSQLDWHRollback s'appelle maintenant tAzureSynapseRollback
  • tSQLDWHRow s'appelle maintenant tAzureSynapseRow

Talend Data Integration

Talend Data Management Platform

Support de Azure Data Lake Storage Gen2 Les composants Azure Synapse supportent maintenant Azure Data Lake Storage Gen2. Le composant tAzureSynapseBulkExec propose l'option Data Lake Storage Gen2 dans liste déroulante Azure Storage de la vue Basic settings (paramètres de base), ainsi que l'option Secure transfer required (Transfert sécurisé requis) dans la vue Advanced settings (paramètres avancés). L'option existante dans la liste déroulante Azure Storage, à savoir Data Lake Store, a été remplacée par Data Lake Storage Gen1.

Talend Data Integration

Talend Data Management Platform

tELTTeradataMap : opérateur de relation mis à jour L'éditeur de mapping ELT Teradata utilise les opérateurs suivants : =, <=, <, >=, >, et <> ; les opérateurs correspondants précédents, y compris EQ, LE, LT, GE, GT, et NE, sont dépréciés, comme indiqué dans les captures d'écran ci-dessous.
Les opérateurs existants :
sont maintenant :

Talend Data Integration

Talend Data Management Platform

Support de l'authentification via Azure Active Directory Il est maintenant possible d'utiliser l'authentification via Azure Active Directory lors de la définition de connexions avec les composants suivants :
  • tAzureSynapseBulkExec, tAzureSynapseConnection, tAzureSynapseInput, tAzureSynapseOutput, tAzureSynapseRow
  • tELTMSSqlMap
  • tMSSqlBulkExec, tMSSqlConnection, tMSSqlInput, tMSSqlOutput, tMSSqlOutputBulkExec, tMSSqlRow, tMSSqlSCD, tMSSqlSP
  • tCreateTable

Talend Data Integration

Talend Data Management Platform

tAzureSynapseBulkExec : supporte l'instruction COPY pour charger des données.

Le composant tAzureSynapseBulkExec supporte l'instruction COPY pour charger des données. Les modifications ci-dessous ont été apportées au composant.

Dans la vue Basic settings (Paramètres de base) :
  • Liste déroulante Load method (Méthode de chargement) (nouveau) ;
  • Liste déroulante Azure storage (mise à jour) ;
  • Liste déroulante Authentication method (Méthode d'authentification) (nouveau) ;
  • Champ SAS token (Jeton SAS) (nouveau) ;
  • Champ Endpoint suffix (Suffixe de l'endpoint) (nouveau) ;
  • Option External paths (Chemins externes) (nouveau).
Dans la vue Advanced settings (Paramètres avancés).
  • Liste déroulante File type (Type de fichier) (nouveau) ;
  • Option Specify map to source table fields (Préciser les champs du tableau de la map à la source) (nouveau) ;
  • Champ First row (Première ligne) (nouveau) ;
  • Champs Field quote (Citation de champ) (nouveau) ;
  • Field Terminator (Séparateur de champ)
  • Champ Row terminator (Séparateur de ligne) (nouveau) ;
  • Liste déroulante Date format (Format de date) (nouveau) ;
  • Liste déroulante Encoding (Encodage) (nouveau) ;
  • Option Identity insert (Insertion d'identité) (nouveau) ;
  • Champ Max errors (Nombre d'erreurs max) (nouveau) ;
  • Liste déroulante Compressed by (Compressé par) (mise à jour).

Talend Data Integration

Talend Data Management Platform

Data Quality

Fonctionnalité Description

Produit

Composants Tous les composants de qualité de données peuvent être exécutés sous Databricks sur Azure et sur AWS, à l'exception des composants tMatchIndex et tMatchIndexPredict.

Étant donné que ces composants ne supportent pas l'authentification Elasticsearch, ils ne peuvent pas s'exécuter sur Databricks.

Talend Data Management Platform

ESB

Fonctionnalité Description

Produit

Services REST Les variables de contexte sont maintenant parfaitement supportées pour une utilisation dans le fournisseur de services REST, tout comme les endpoints consommateur dans les services de données et dans les Routes.
Microservices Les Microservices permettent maintenant de fournir des métriques à Prometheus.