Data Quality : nouvelles fonctionnalités - 7.2

Notes de version des produits Talend Data Integration

author
Talend Documentation Team
EnrichVersion
7.2
EnrichProdName
Talend Data Integration
Talend Data Management Platform
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
task
Installation et mise à niveau
Release Notes

Fonctionnalité

Description

Création asynchrone du datamart La création du datamart DQ à partir de Studio Talend est désormais une opération asynchrone. Cette fonctionnalité permet aux utilisateurs d'effectuer d'autres actions dans Studio Talend tandis que le datamart DQ est créé.
Masquage de données avec méthodes Format-Preserving Encryption Les composants tDataMasking et tPatternMasking peuvent maintenant masquer des données sans risques, à l'aide d'algorithmes Format-Preserving Encryption, ce qui permet un masquage à répétition et bijectif en fournissant un mot de passe. Les données originales ne peuvent pas être lues sans avoir connaissance du mot de passe fourni.
Révélation de données Lorsque des données sont masquées à l'aide des composants tDataMasking et tPatternMasking combinés à l'algorithme Format-Preserving Encryption et à un mot de passe, les composants tDataUnmasking et tPatternUnmasking, respectivement, peuvent récupérer les données originales en inversant le masquage à l'aide du même mot de passe.
Chiffrement et déchiffrement de données Le nouveau composant tDataEncrypt peut protéger des données en les chiffrant avec des algorithmes AES-GCM et Blowfish ainsi qu'un mot de passe défini par l'utilisateur. Les données chiffrées sont illisibles sans le mot de passe fourni et le fichier cryptographique généré.

Le composant tDataDecrypt peut déchiffrer des données ayant été chiffrées à l'aide du composant tDataEncrypt.

Regroupement par rapprochement La colonne de sortie GRP_QUALITY du tMatchGroup dépend à présent de l'algorithme de rapprochement. Lorsque vous utilisez l'algorithme T-Swoosh, la valeur de qualité du groupe GRP_QUALITY est la valeur minimale parmi toutes les paires d'enregistrements du groupe. Cela peut avoir un effet sur les résultats avec plusieurs sorties, puisque la valeur GRP_QUALITY détermine dans quel flux de sortie va un enregistrement.

Le comportement avec l'agorithme Simple VSR n'a pas été modifié.

Support de Spark 2.4 Talend supporte Spark 2.4 (mode local) lors de l'exécution de Jobs dans le Studio Talend avec les composants suivants :
  • tALSModel
  • tCompareColumns
  • tDataMasking
  • tDataShuffling
  • tGenKey
  • tJapaneseNumberNormalize
  • tJapaneseTokenize
  • tJapaneseTransliterate
  • tMatchIndex
  • tMatchIndexPredict
  • tMatchModel
  • tNaiveBayesModel
  • tPatternMasking
  • tPredict
  • tRandomForestModel
  • tRecommend
  • tReservoirSampling
  • tRuleSurvivorship
  • tStandardizePhoneNumber
  • tStandardizeRow
  • tSynonymSearch
  • tTransliterate
  • tVerifyEmail
Support de bases de données supplémentaires Talend supporte désormais les bases de données supplémentaires pour le datamart DQ :
  • Amazon RDS pour Aurora
  • Amazon RDS pour MySQL
  • Amazon RDS pour PostgreSQL
  • Amazon RDS pour Oracle
  • Amazon RDS pour SQL Server
  • Azure Database pour MySQL
  • Azure Database pour PostgreSQL
  • Azure SQL Database
  • Oracle 18c
Support de bases de données supplémentaires Talend supporte désormais les bases de données supplémentaires pour la perspective Profiling :
  • Amazon RDS pour Aurora
  • Amazon RDS pour MariaDB
  • Amazon RDS pour Oracle
  • Amazon RDS pour PostgreSQL
  • Amazon RDS pour SQL Server
  • AS/400 V7R1 à V7R3
  • Azure Database pour MySQL
  • Azure Database pour PostgreSQL
  • Azure SQL Database
  • Google BigQuery (via JDBC)
  • IBM DB2 11.1
  • Ingres 10.2
  • Netezza 7.2
  • Oracle 18c
  • Snowflake (via JDBC)
  • Sybase 15.5/15.7
  • Teradata 16
Règles de consolidation L'algorithme T-Swoosh supporte les fonctions de consolidation most ancien et most recent sur les colonnes non-datées.
tBRMS Le composant tBRMS supporte désormais Red Hat Decision Manager 7.3.