Ponts Talend Data Catalog - 7.3

Talend Data Catalog - Notes de version

EnrichVersion
7.3
EnrichProdName
Talend Big Data Platform
Talend Data Fabric
Talend Data Management Platform
Talend Data Services Platform
Talend MDM Platform
Talend Real-Time Big Data Platform
EnrichPlatform
Talend Data Catalog
task
Gouvernance de données
Release Notes

Nouvelles fonctionnalités et améliorations

Fonctionnalité Description

Denodo Virtual DataPort support du lignage entre deux Denodo VDB avec des dépendances

Le lignage entre deux VDB, dans le cas où l'un référence l'autre, est à présent supporté.
Panneau Aide du pont : Harmonisation et nettoyage Le contenu du panneau Aide dans le panneau de configuration d'import de pont a été réorganisé et mis à jour.
Base de données Apache Hadoop Hive (HCatalog et Metastore via JDBC) : détection et optimisation de la collecte incrémentale. La détection de modification pour la collecte incrémentale a été améliorée aux niveaux suivant :
  • Nouveaux messages statistiques de version de base de données.
  • Nouvelle option diverse appelée -tblproperties.skip. Vous ne pouvez pas importer de propriétés de table skip indépendamment de ses métadonnées structurelles, comme CreationTime, librairie SerDe, ou numRows, celles-ci étant modifiées en même temps que les données de la table. Le fait de sauter les propriétés volatiles des tables, comme les métadonnées opérationnelles, permettra d'éviter la surdétection des changements et permettra une collecte incrémentale plus efficace.
Import Bridge (Pont d'import) : Nouvelle option diverse permettant de maîtriser le nom racine de modèle simple et de multimodèle L'option diverse -model.name vous permet de modifier le nom du modèle pour les modèles simples et les multimodèles.
SAP Data Services (BODI/BODS) : amélioration du paramètre Driver location bridge À l'aide du bouton Browse (Parcourir), vous pouvez naviguer dans votre système pour trouver le fichier pilote du paramètre Driver location.
Export de référentiel : jakarta.json-1.1.6.jar introuvable Remplacement de JSON-P par JSON.simple dans le pont de référentiel.
Ponts C++ : Amélioration du chargement de leurs fichiers yaml. Les ponts C++ chargent désormais correctement leurs traductions depuis les fichiers yalm dans le dossier literals.
Microsoft Azure Data Factory - Aperçu technique : Amélioration de l'import des pipelines depuis une structure de dossiers. Ajout de corrections de profil afin de permettre l'import de pipelines depuis une structure de dossiers.
Base de données Snowflake (via JDBC) : import de commentaires sur un schéma Les commentaires sur un schéma sont maintenant importés et visibles dans la zone Comment (Commentaire) de la page de détails du schéma.
SAP PowerDesigner PDM : support de la version 16.6 SP10 La version 16.6 SP10 est maintenant supportée.
Erwin Data Modeler : support de modèles comprenant plusieurs bases de données de différents types Le profil ERwin peut afficher des objets physiques, y compris le support initial de bases de données DB2, Storage Group, Base de données Oracle, base de données SQL Server et File Group.
Oracle Data Modeler (ODM) 4.x : support de la version 19.x La version 19.4 de ODM est maintenant supportée.
Pont d'export IDERA ER/Studio Data Architect : Modèles logiques ODM supportés Amélioration du pont permettant l'export de modèles logiques d'ODM.
Tableau (File) : support des Datastores de type Denodo Le pont supporte maintenant les Datastore de type Denodo.
Base de données Google BigQuery : support des colonnes REPEAT contenant des données du type RECORD Le pont d'import supporte maintenant les colonnes dont la classe est RECORD.

Le pont d'export IDERA ER/Studio Data Architect supporte maintenant les colonnes dont la classe est RECORD.

Correction de la clause LIMIT dans l'analyseur d'expression.

Base de données Salesforce (SFDC) : Amélioration de l'import d'objets Ajout de code offrant une solution aux dispositions compactes sans champs.
Base de données Oracle (via JDBC) : support des bases de données enfichables Le pont supporte maintenant les bases de données enfichables. Dans le cas où plusieurs bases de données enfichables sont configurées pour une instance, le nom de la première base de données est utilisé.
Microsoft Azure Data Lake Storage Gen2 : amélioration de la bulle d'information du paramètre de partition des répertoires. Plusieurs problèmes de traitement des racines ont été résolus.
SAS Data Integration : Amélioration de la connexion entre les modèles File et SAS DI Ajout d'une extension pour classifiant dans la connexion File pour améliorer l'assemblage entre les modèles File et SAS DI.
Tableau Server (Repository): retourne le code de réponse HTTP suivant : 504 for URL Les chemins en double ont été corrigés dans les profils.
Analyseur d'expression des ponts d'import : supporte la syntaxe '/*+APPEND PARALLEL(2)*/ INTO FT_T_WISL NOLOGGING' DIRECT-PATH INSERT avec NOLOGGING est maintenant supporté.
Databricks Unified Data Services (via Apache Spark): support des scripts Databricks Scala Le pont supporte maintenant les scripts Databricks Scala.
Base de données Snowflake (via JDBC) : amélioration du lignage entre les tables et les vues Le type de pont est maintenant basé sur le catalogue.
Base de données Snowflake (via JDBC) : support du symbole dollar ($) en tant qu'identifiant Amélioration de l'analyseur d'expression pour permettre l'utilisation du symbole dollar en tant qu'identifiant.
Looker Server - aperçu technique : Amélioration du support des modèles LookML Ajout d'un analyseur d'expression permettant l'amélioration de l'import de modèles LookML.

Corrections notables

Problème Description
SAP Data Services : le mot de passe défini n'est pas conservé Correction d'une faute de frappe dans "Password".
Export d'Informatica PowerCenter : Les mappings ne sont pas importés au format Metadata Excel. Utilisation de noms physiques en tant que clés pour la fonction de liaison ETL.
Talend Data Integration : Argument illégal : Ajout d'un null SourceFeature à FeatureMap impossible Correction lorsque le lien d'activité est créé et que la source n'indique aucune caractéristique de la source.
Base de données Microsoft SQL Server (via JDBC) : le fait qu'une base de données soit hors ligne ou à accès restreint rend bloque la collecte d'une autre base de données Filtrage des bases de données hors ligne, en cours de restauration, récupération, copie ou qui ne sont pas prêtes pour un chargement de données.

Ajout de code de validation des noms de bases de données.

QlikSense Server : Impossible de résoudre les références aux fichiers QVS données dans le dossier log Correction du problème de la boucle infinie alors que le pont résout le problème lié aux fichiers QSV.
Base de données Snowflake (via JDBC) : Aucune métadonnée à parcourir Correction du traitement d'une description de schéma vide (null).
SAP Business Warehouse 4 HANA (BW/4HANA) : échec de l'import lorsque l'index est hors limite Correctif pour java.lang.IndexOutOfBoundsException.
SAP Business Warehouse 4 HANA (BW/4HANA) : fournisseurs composites / possède déjà une fonctionnalité avec ce nom Correction afin de gérer les doublons de colonnes InfoObject utilisées dans les fournisseurs composites. Ajout de removeModel pour les modèles SourceSystem.
Base de données Oracle (via JDBC): Oracle 10g / échec par identifiant invalide Amélioration des requêtes de métadonnées afin de supporter Oracle 10g R2
Base de données AWS Aurora / PostgreSQL (via JDBC): profiling et échantillonnage de données
Ajout de deux ponts/alias pour AWS Aurora :
  • Amazon Web Services (AWS) Aurora/base de données MySQL (via JDBC)
  • Amazon Web Services (AWS) Aurora/base de données PostgreSQL (via JDBC)

Correction du profiling et de l'échantillonnage de données.

Base de données IBM Netezza (via JDBC) : support des versions 7.2.x afin d'autoriser plusieurs schémas ou propriétaires. Ajout du support pour la nouvelle version de Netezza, 7.2.x, laquelle permet l'utilisation de plusieurs schémas ou propriétaires.
Pont d'import Java : Correction des lookups non sensibles à la casse sur l'amélioration récente des référentiels de collection SDK Correction d'un problème de lookups non-sensible à la casse dans les référentiels de collection SDK.
Base de données Teradata (via JDBC): ajout d'erreurs et d'avertissement dans les logs Ajout de nouveaux avertissements et mise à jour de la bulle d'information du pont. Ajout de la limitation à 100 vues échouées.
QlikView : Problème lors de la récolte de connexions de bases de données depuis un dashboard QlikVieux Ajout d'une fonctionnalité de sauvegarde.
SAS Data Integration : NullPointerException avec plusieurs packages SAS SPK Ajout d'un support pour une variable dont la source est le classifiant de sortie.
Base de données Oracle (via JDBC) : Amélioration de la performance d'extraction de métadonnées Amélioration des performances des collections SDK contenant un grand nombre d'objets.
Base de données Teradata (via JDBC) : L'attribut de position des colonnes de la vue Teradata est indiqué par "0" pour chaque colonne Correction de la fonctionnalité de chargement de position.
MicroStrategy 7.0 to 11.x/2020 : Impossible de récupérer l'attribut. À cause de : MITI.MIRException Ajout d'un nettoyage des ressources de MicroStrategy après chaque import de projet.
MicroStrategy 7.0 à 11.x/2020: MITI.MIRException: java.lang.NullPointerException Correction de l'import de projet sans instance de base de données par défaut et primaire.
Base de données Teradata (via JDBC) : Le type de données de la colonne view indiqué comme "undefined", lorsque dérivé d'un type de donnée "blank" dans la colonne table. Ajout de nouveau type de données dans la colonne vue de la base de données.
Base de données Google BigQuery : Échantillonnage et profiling de données Correction du profiling de donnée et de l'échantillonnage du filtre de la table.
Base de données Cloudera Hadoop Hive SQL DML : Erreur ' EXPLIB_W0001 Expression syntax not recognized (or not supported)' Amélioration de INSER OVERWRITE.
Base de données SAP HANA (via JDBC) : le synonyme n'est pas importé Correction de l'analyseur XML de la vue calculation lorsque la fonction de tableau est la source de données de la vue.
Talend Data Integration : Erreurs de l'analyse des expressions lors de l'import d'un élément de Job Ajout du support de context.getProperty("propertyName").
Microsoft Azure Data Lake Storage Gen2 : import de la totalité du conteneur, même lorsque le chemin racine mène à un dossier interne. ajout de code permettant de valider la valeur du paramètre root directory pour les actions d'exécution et de test.
Base de données AWS Redshift (via JDBC) : échec de l'extraction des colonnes Amélioration de la gestion des erreurs dans le processus de chargement des fonctionnalités.
SAP BusinessObjects Information Design Tool (IDT) (Fichier) : échec de l'extraction d'UNX Ajout du support pour un nouveau type de base de données. Le pont peut désormais détecter et ignorer les tables alias invalides.
Ponts : La vue d'ensemble du lignage n'est pas disponible pour les procédures ou les fonctions stockées Correction du lignage pour les procédures ou les fonctions stockées.
SAS DI import / IBM InfoSphere Open IGC - export par Vendor Internal Bridge : Génération de logs par l'option -igcnr du paramètre Miscellaneous du pont impossible Suppression de la documentation sur l'option -igcnr et renommage de l'option -igcod en -backup.
Tableau : Plusieurs problèmes concernant le Tableau Amélioration du profil du Tableau permettant un meilleur support des relations entre les requêtes personnalisées.

Résolution des objets d'histoire dépendant des dasboards.

Denodo Virtual DataPort NPE + Erreur de syntaxe : Erreur de la requête de parsing à proximité d'un "-" Correction du NPE si le type de vue est inconnu.
Base de données Apache Hadoop Hive SQL DML (DI/ETL) Script (HiveQL) : échec du parsing avec l'erreur "unexpected CONST_INTEGER_TOKEN" pour la fonction concat() Ajout d'une colonne appelée "date".
Informatica PowerCenter (référentiel) : échec du remplacement du paramètre du PC Utilisation des valeurs de la plus longue variable correspondante pour les paramètres manquants.

Suppression de certains logging de debog.

Base de données Snowflake (via JDBC) : impossible d'ajouter un null RightExpressionNode à OperatorNode Ajout d'un support partiel pour les fonctions de tables.

Amélioration de la technique d'exception dans le l'analyseur d'expression.

Microsoft SSIS : la table source n'est pas affichée dans le lignage lorsque la connexion se fait par “Microsoft Oracle Source Component by Attunity” Ajout du support du composant Oracle Reader.
Système de fichiers/Excel : Tous les champs ne sont pas importés Correction du traitement des lignes masquées.
Talend Data Integration / Microsoft Azure Data Lake Storage Gen2 : chaine de caractères de connexion pour les combinaisons Correction de la chaine de caractères de connexion ADLSgen2.
Interface d'utilisation du pont : permet à l'utilisateur ou à l'utilisatrice de sélectionner le texte du journal de log des connexions Ajout de la fonction de sélection de texte dans la fenêtre de log du navigateur de référentiel.
SAP Business Warehouse 4 HANA (BW/4HANA) : contient déjà un ClientOfConnection avec cet Objet Amélioration de la séparation de la source et de la destination de la connexion si elles se connectent au même objet.
MicroStrategy 7.0 à 11.x/2020: MITI.MIRException: java.lang.NullPointerException après une extraction XMIs Correction du nommage de MIRConnection.
Looker Server - aperçu technique : Assemblage à Google BigQuery impossible à cause d'une connexion d'objet inexistante Amélioration pont et ajout du support de Google BigQuery.
Teradata Database SQL DML Script / BTEQ : le script est ignoré s'il contient le mot-clé "volatile" Correction de l'analyseur d'expression.