Ponts Talend Cloud Data Catalog - Cloud

Notes de version Talend Cloud Data Catalog

Version
Cloud
Language
Français (France)
Product
Talend Cloud
Module
Talend Data Catalog
Content
Gouvernance de données
Notes de version

Nouvelles fonctionnalités et améliorations

Modifications générales

Élément Description
Mise à niveau des logiciel tiers et open source Tous les outils tiers et open source ont été mis à niveau dans leur dernière version pour une meilleure sécurité et protection contre des vulnérabilités.
Nouvelle fonctionnalité de stockage des identifiants dans des gestionnaires de secrets (Secret Manager) Cloud Talend Cloud Data Catalog supporte à présent les gestionnaires de secrets Cloud suivants :
  • Amazon AWS Secrets Manager
  • Microsoft Azure Key Vault
  • Google Secret Manager
Modélisation de fichier JSON : Améliorations La modélisation de fichier JSON a été améliorée. Elle comprend le support des tableaux et types d'objets racine.
Les types suivants de ponts d'import ont été repensés et nécessitent un import complet :
  • Systèmes de fichiers contenant des fichiers JSON, comme File System (JSON), AWS Simple Storage Service File System, Microsoft Azure Data Lake Storage Gen2, Google Cloud Storage File System ou OpenStack Swift Object Store File System.
  • Bases de données NoSQL basées sur JSON, comme la base de données NoSQL MongoDB ou la base de données NoSQL Apache CouchDB.
  • Les ponts ETL, ELT, Intégration de données et Business Intelligence lisant ou écrivant des data stores basés sur les fichiers JSON, comme Data Mapping Script, Talend Data Integration ou Informatica PowerCenter (Repository).
Nouveau support des types complexes Les types de ponts d'import suivants supportent à présent les types complexes (tableaux et structures), souvent sur les tables implémentées ou externalisées en tant que fichiers JSON :
  • Bases de données supportant les types complexes implémentés comme fichiers externes, comme la base de données Apache Hadoop Hive (HCatalog et Metastore via JDBC), la base de données Google Cloud Platform Hadoop Hive, la base de données Google BigQuery ou la base de données Snowflake.
  • Les ponts ETL, ELT, Intégration de données et Business Intelligence lisant ou écrivant des types complexes de bases de données, comme Data Mapping Script, Apache Hadoop Hive SQL DML Script, Talend Data Integration ou Informatica PowerCenter (Repository).

Data Stores

Pont Description
Nouveaux ponts d'import pour les bases de données relationnelles Les ponts suivants ont été ajoutés :
  • Base de données Amazon Athena (via JDBC) - Aperçu technique
  • Base de données Apache Druid - Aperçu technique
  • Base de données Google Spanner (via JDBC) - Aperçu technique
  • Base de données Presto (via JDBC)
Nouveaux ponts d'import pour les bases de données NoSQL Le pont Microsoft Azure Cosmos DB de base de données NoSQL a été ajouté en aperçu technique.
Ponts d'import améliorés pour les technologies relatives aux bases de données et data lakes Les ponts suivants ont été améliorés et repensés :
  • Système de fichiers Kafka Confluent (Registre de schéma et d'API)
  • Base de données Google BigQuery
  • Système de fichiers Microsoft Azure Data Lake Storage Gen2
  • Base de données SAP Sybase ASE
Ponts d'import basés Hadoop Hive JDBC : nouveau support de la technologie d'écoute des métadonnées Les ponts suivants supportent à présent la technologie d'écoute des métadonnées pour une collecte incrémentale plus rapide :
  • Base de données Apache Hadoop Hive
  • Base de données Cloudera Data Platform Hadoop Hive
  • Base de données Cloudera Hortonworks Data Platform Hadoop Hive
  • Base de données Databricks Delta Lake Hadoop Hive
  • Base de données HPE Ezmeral Data Fabric (MapR Data Platform) Hadoop Hive

Base de données Apache Hadoop Hive : le téléchargement des logiciels de ponts tiers ne fonctionne pas

Les spécifications des ponts ont été mises à jour pour activer et documenter les téléchargements de bibliothèques tierces.

Base de données Salesforce : Mise à jour de la documentation avec le support de connexion via authentification OAuth pour Salesforce

La documentation du pont a été mise à jour pour refléter le support d'OAuth.

JDBC Microsoft SQL Server : Mise à jour de la documentation avec une solution de contournement du protocole TLS

La documentation a été mise à jour pour refléter une solution de contournement du protocole TLS afin de se connecter à un serveur SQL.

Data Integration

Pont Description
Talend Data Integration : Améliorations Le pont d'import supporte à présent de nouveaux connecteurs et de nouvelles transformations de données.

Il supporte également l'écrasement des paramètres internes pour améliorer le lignage.

Script de mapping de données - Aperçu technique : nouveau pont d'import Le nouveau pont d'import vous permet de capturer le lignage du flux de données dans des outils propriétaires d'intégration de données et des technologies utilisé·es pour des mouvement de données ETL/ELT/CDC.
Informatica PowerCenter (Référentiel) : amélioration pour une collecte incrémentale plus rapide Le pont d'import a été amélioré pour une collecte incrémentale plus rapide, basée sur la génération incrémentale et la reconstruction du référentiel XML PowerCenter.
Base de données Snowflake SQL DML (DI/ETL) Script (SnowSQL) : nouveau support des processus ETL Le pont d'import a été amélioré pour supporter les aspects ETL comme SnowPipe, Stream ou Task.
Ponts d'import améliorés Les ponts suivants ont été améliorés :
  • Amazon Web Services (AWS) Glue ETL (via Apache Spark)
  • Databricks Unified Data Services (via Apache Spark)
  • Microsoft Azure Data Factory (ADF) - Aperçu technique

W3C Web Service Definition Language (WSDL) - Vulnérabilités de sécurité : Injection XML External Entity (XXE)

Le traitement DTD a été désactivé sur les parseurs XML.

Microsoft SQL Server Integration Services (SSIS) : mise à jour de la documentation avec le support des fichiers de variables

Mise à jour de la documentation du pont avec le support des filtres de paramètres et variables.

Microsoft SQL Server Integration Services (SSIS) (Base de données du référentiel) : mise à jour de la documentation avec une solution de contournement du protocole TLS

La documentation a été mise à jour pour refléter une solution de contournement du protocole TLS afin de se connecter au serveur IS.

Business Intelligence

Pont Description
Fichier XMLA Microsoft SQL Server Analysis Services (SSAS) : améliorations Le pont d'import a été repensé en Java et supporte à présent la modélisation multidimensionnelle et la modélisation tabulaire.
Ponts d'imports Microsoft Power BI : nouveau support de l'authentification par navigation distante Les ponts suivants supportent à présent l'authentification par navigation distante :
  • Microsoft Power BI (File) - Aperçu technique
  • Microsoft Power BI Report Server (Référentiel))
  • Service Microsoft Azure Power BI (Référentiel)

Applications métier

Pont Description
SAP Business Warehouse 4 HANA (BW/4HANA) : améliorations Le pont d'import supporte à présent les rapports de requête. Les scripts ABAP ont été améliorés.
Serveur Tableau : Améliorations Le pont d'import a été amélioré pour inclure le support de la dernière version et de l'API.

Corrections notables

Problème Description
Base de données MongoDB NoSQL - Test de connexion : le chemin d'accès au fichier binaire est trop long Amélioration du classpath pour les ponts de la base de données JSON.

Informatica PowerCenter Échec d'exécution de la commande pmrep Informatica

Le paramètre Divers a été mis à jour pour refléter une nouvelle option environment.variable.

Base de données Teradata/Export Microsoft Azure Purview : lignage des procédures stockées manquant depuis la version 20210512

Le parseur des procédures stockées a été corrigé pour développer la colonne avec étoile (*) des tables appartenant au même schéma. Ajout de l'option -purview.

QlikSense Server : nouveau script ETL/Intégration de données pour importer l'architecture du pont

Ajout de la possibilité de sélectionner le dossier de log pour un système multi-nœud.

Erwin DM : vider les fichiers du cache du modèle d'import prend plus de 30 minutes

Ajout du paramètre Import incrémental et du message de log.

Denodo Virtual DataPort support de Denodo Virtual DataPort 8.0

Mise à jour de la version de Denodo jusqu'en 8.0 et des ponts SQL Server jusqu'en version 15.x (2019).

Microsoft SQL Server Integration Services (SSIS) (Base de données de référentiel) : le pilote ne peut établir une connexion sécurisée

Le chiffrement est désactivé par défaut.

Ponts : le paramètre de proxy dans -java.parameters n'est pas pris en compte lors de l'utilisation de HTTPS

L'infobulle a été mise à jour pour indiquer le support des proxy -DHTTP mais pas des proxy -DHTTPS dans l'option -java.parameters du paramètre de pont Divers.

JDBC Microsoft SQL Server : échec de la connexion chiffrée

Ajout du paramètre encrypt=false lorsque l'hôte ne spécifie pas l'URL complète.

Pour plus d'informations concernant les ponts, consultez Ponts de Talend Cloud Data Catalog sur Talend Help Center.