Nouvelles fonctionnalités de la R2020-05 - 7.3

Notes de version des produits Talend Big Data

EnrichVersion
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
task
Installation et mise à niveau
Notes de version

Big Data

Fonctionnalité

Description

Produit

Support d'EMR 5.29 Vous pouvez maintenant exécuter des Jobs Talend avec la distribution Amazon EMR version 5.29.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Effectuer un upsert des tableaux Delta Lake existants avec de nouvelles données Au moment de la configuration de la sauvegarde du jeu de données dans tDeltaLakeOutput, sélectionnez Merge (Fusionner) pour effectuer un upsert d'un tableau Delta Lake existant, soit avec de nouvelles données d'un flux, soit depuis un autre tableau Delta Lake. De nouveau champs permettant de configurer quelles colonnes fusionner, et comment opérer la fusion sont disponibles.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Vérification de la cohérence des données avec le cluster EMR Lorsque vous utilisez le composant tS3Configuration, activez l'option Use EMRFS consistent view (Utiliser la vue EMRFS consistent), pour utiliser cette vue. Cette option permet aux clusters EMR de vérifier la liste et la cohérence de lecture après écriture pour les objets Amazon S3 écrits par ou synchronisés avec EMRFS.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Configuration de Spark Catalog dans le composant tHiveConfiguration Vous devez indiquer une implémentation Spark avec la propriété Spark Catalog dans la configuration du composant tHiveConfiguration. La valeur à sélectionner sera différente suivant si le Hive metastore est externe à votre cluster ou non. Cette configuration évite les erreurs de runtime. Cette propriété n'est disponible que pour les Jobs Spark Batch.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Support d'Oracle 19c Les composants Big Data ci-dessous supportent maintenant Oracle 19c.
Spark Batch :
  • tOracleConfiguration
  • tOracleInput
  • tOracleOutput
Spark Streaming :
  • tOracleConfiguration
  • tOracleLookupInput
  • tOracleOutput

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Configuration avancée de la fonction Assume Role (Endosser un rôle) des composants DynamoDB Dans les composants tDynamoDBInput et tDynamoDBOutput, lorsque l'option Assume role (Endosser un rôle) est activée, vous pouvez maintenant configurer les propriétés ci-dessous depuis la vue Advanced settings (Paramètres avancés) afin d'affiner votre configuration.
  • Signing region (Région d'identification) (obligatoire)
  • Id externe
  • Serial number
  • Token code
  • Tags
  • IAM Policy ARNs
  • Policy

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Accéder aux données depuis un index secondaire Lorsque vous récupérez les données d'un tableau avec le composant tDynamoDBInput, vous pouvez indiquer un index secondaire dans la configuration du composant afin d'améliorer les performances des requêtes et des scans.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Integration

Fonctionnalité

Description

Produit

Amélioration de la connexion distante à TAC De nouveaux identifiants seront demandés dans le Studio Talend aux utilisateurs et utilisatrices et utilisatrices de LDAP si le mot de passe AD a été modifié.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Amélioration de la barre de titre Le titre du Studio Talend dans la barre de titre sera mis à jour afin d'afficher les informations de version une fois le patch installé.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Mise à niveau du pilote AWS SDK Le pilote AWS SDK pour la connexion SSO Redshift dans les métadonnées du Studio Talend a été mis à niveau.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Amélioration de la propagation des contextes La propagation des contextes depuis le projet de référence a été améliorée dans la partie intégration de données. Toute mise à jour de variable de contexte dans le projet de référence peut maintenant être automatiquement synchronisée avec le projet principal.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Configuration avancée de la fonction Assume Role (Endosser un rôle) Lorsque l'option Assume role (Endosser un rôle) est activée, vous pouvez maintenant configurer les propriétés ci-dessous depuis la vue Advanced settings (Paramètres avancés) afin d'affiner votre configuration.
  • Signing region (Région d'identification) (obligatoire)
  • Id externe
  • Serial number
  • Token code
  • Tags
  • IAM Policy ARNs
  • Policy
Cette amélioration est disponible pour les composants suivants :
  • tAmazonEMRListInstances, tAmazonEMRManage, tAmazonEMRResize, tAmazonRedshiftManage
  • tRedshiftOutputBulk, tRedshiftOutputBulkExec
  • tS3BucketCreate, tS3BucketDelete, tS3BucketExist, tS3BucketList, tS3Connection, tS3Copy, tS3Delete, tS3Get, tS3List, tS3Put
  • tSQSConnection, tSQSInput, tSQSMessageChangeVisibility, tSQSMessageDelete, tSQSOutput, tSQSQueueAttributes, tSQSQueueCreate, tSQSQueueDelete, tSQSQueueList, tSQSQueuePurge

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Renommage de composants Les composants tSQLDWH ont été renommés. La liste ci-dessous donne les détails du renommage.
  • tSQLDWHBulkExec s'appelle maintenant tAzureSynapseBulkExec
  • tSQLDWHClose s'appelle maintenant tAzureSynapseClose
  • tSQLDWHCommit s'appelle maintenant tAzureSynapseCommit
  • tSQLDWHConnection s'appelle maintenant tAzureSynapseConnection
  • tSQLDWHInput s'appelle maintenant tAzureSynapseInput
  • tSQLDWHOutput s'appelle maintenant tAzureSynapseOutput
  • tSQLDWHRollback s'appelle maintenant tAzureSynapseRollback
  • tSQLDWHRow s'appelle maintenant tAzureSynapseRow

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Support de Azure Data Lake Storage Gen2 Les composants Azure Synapse supportent maintenant Azure Data Lake Storage Gen2. Le composant tAzureSynapseBulkExec propose l'option Data Lake Storage Gen2 dans liste déroulante Azure Storage de la vue Basic settings (paramètres de base), ainsi que l'option Secure transfer required (Transfert sécurisé requis) dans la vue Advanced settings (paramètres avancés). L'option existante dans la liste déroulante Azure Storage, à savoir Data Lake Store, a été remplacée par Data Lake Storage Gen1.

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tELTTeradataMap : opérateur de relation mis à jour L'éditeur de mapping ELT Teradata utilise les opérateurs suivants : =, <=, <, >=, >, et <> ; les opérateurs correspondants précédents, y compris EQ, LE, LT, GE, GT, et NE, sont dépréciés, comme indiqué dans les captures d'écran ci-dessous.
Les opérateurs existants :
sont maintenant :

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Support de l'authentification via Azure Active Directory Il est maintenant possible d'utiliser l'authentification via Azure Active Directory lors de la définition de connexions avec les composants suivants :
  • tAzureSynapseBulkExec, tAzureSynapseConnection, tAzureSynapseInput, tAzureSynapseOutput, tAzureSynapseRow
  • tELTMSSqlMap
  • tMSSqlBulkExec, tMSSqlConnection, tMSSqlInput, tMSSqlOutput, tMSSqlOutputBulkExec, tMSSqlRow, tMSSqlSCD, tMSSqlSP
  • tCreateTable

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tAzureSynapseBulkExec : supporte l'instruction COPY pour charger des données.

Le composant tAzureSynapseBulkExec supporte l'instruction COPY pour charger des données. Les modifications ci-dessous ont été apportées au composant.

Dans la vue Basic settings (Paramètres de base) :
  • Liste déroulante Load method (Méthode de chargement) (nouveau) ;
  • Liste déroulante Azure storage (mise à jour) ;
  • Liste déroulante Authentication method (Méthode d'authentification) (nouveau) ;
  • Champ SAS token (Jeton SAS) (nouveau) ;
  • Champ Endpoint suffix (Suffixe de l'endpoint) (nouveau) ;
  • Option External paths (Chemins externes) (nouveau).
Dans la vue Advanced settings (Paramètres avancés).
  • Liste déroulante File type (Type de fichier) (nouveau) ;
  • Option Specify map to source table fields (Préciser les champs du tableau de la map à la source) (nouveau) ;
  • Champ First row (Première ligne) (nouveau) ;
  • Champs Field quote (Citation de champ) (nouveau) ;
  • Field Terminator (Séparateur de champ)
  • Champ Row terminator (Séparateur de ligne) (nouveau) ;
  • Liste déroulante Date format (Format de date) (nouveau) ;
  • Liste déroulante Encoding (Encodage) (nouveau) ;
  • Option Identity insert (Insertion d'identité) (nouveau) ;
  • Champ Max errors (Nombre d'erreurs max) (nouveau) ;
  • Liste déroulante Compressed by (Compressé par) (mise à jour).

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Quality

Fonctionnalité Description

Produit

Composants Tous les composants de qualité de données peuvent être exécutés sous Databricks sur Azure et sur AWS, à l'exception des composants tMatchIndex et tMatchIndexPredict.

Étant donné que ces composants ne supportent pas l'authentification Elasticsearch, ils ne peuvent pas s'exécuter sur Databricks.

Talend Big Data Platform

Talend Real-Time Big Data Platform

ESB

Fonctionnalité Description

Produit

Services REST Les variables de contexte sont maintenant parfaitement supportées pour une utilisation dans le fournisseur de services REST, tout comme les endpoints consommateur dans les services de données et dans les Routes.

Talend Real-Time Big Data Platform

Microservices Les Microservices permettent maintenant de fournir des métriques à Prometheus.

Talend Real-Time Big Data Platform