Data Quality: 新しい機能 - 7.2

Talend Big Data製品リリースノート

EnrichVersion
7.2
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
task
Release Notes
インストールとアップグレード

機能

説明

データマートの非同期作成 Talend Studioからのデータクオリティデータマートの作成は非同期作成になりました。この機能によってユーザーは、データクオリティデータマートが作成されている間にTalend Studioで他のアクションを実行できるようになります。
フォーマット保持暗号化アルゴリズムを活用したデータのマスキング tDataMaskingコンポーネントとtPatternMaskingコンポーネントで、フォーマット保持暗号化アルゴリズムを活用してデータを安全にマスキングできるようになったため、パスワードを入力することで繰り返し可能で全単射型のマスキングを実現できます。与えられたパスワードなしで元のデータを読み取ることはできません。
データのマスキング解除 フォーマット保持暗号化アルゴリズムとパスワードを組み合わせ、tDataMaskingおよびtPatternMaskingの両コンポーネントを使ってデータがマスキングされた場合、tDataUnmaskingtPatternUnmaskingの両コンポーネントはそれぞれ、同じパスワードを使ってマスキングを反転させることで元のデータを取得できます。
データ暗号化とデータ解読 新しいtDataEncryptコンポーネントは、AES-GCMおよびBlowfishというアルゴリズムによる暗号化とユーザー定義のパスワードでデータを保護します。与えられたパスワードと生成された暗号化ファイルなしでは、暗号化されたデータを読み取ることができません。

tDataDecryptコンポーネントは、tDataEncryptコンポーネントを使って暗号化されたデータを解読できます。

一致のグループ化 tMatchGroupGRP_QUALITY出力が一致アルゴリズムに依存するようになりました。t-Swooshアルゴリズムを使用する場合、GRP_QUALITY値はグループの全レコードペアの最小値を取得することで計算されます。レコードの出力フローはGRP_QUALITY値で決定するため、複数の出力がある場合は結果に影響することがあります。

シンプルVSRアルゴリズムによる動作は変更されていません。

Spark 2.4のサポート Talendが、以下のコンポーネントを使ってTalend Studioでジョブを実行する時にSpark 2.4 (ローカルモード)をサポートするようになりました。
  • tALSModel
  • tCompareColumns
  • tDataMasking
  • tDataShuffling
  • tGenKey
  • tJapaneseNumberNormalize
  • tJapaneseTokenize
  • tJapaneseTransliterate
  • tMatchIndex
  • tMatchIndexPredict
  • tMatchModel
  • tNaiveBayesModel
  • tPatternMasking
  • tPredict
  • tRandomForestModel
  • tRecommend
  • tReservoirSampling
  • tRuleSurvivorship
  • tStandardizePhoneNumber
  • tStandardizeRow
  • tSynonymSearch
  • tTransliterate
  • tVerifyEmail
追加のデータベースに対するサポート Talendで、データクオリティデータマートで追加のデータベースを使用できるようになりました。
  • Amazon RDS for Aurora
  • Amazon RDS for MySQL
  • Amazon RDS for PostgreSQL
  • Amazon RDS for Oracle
  • Amazon RDS for SQL Server
  • Azure Database for MySQL
  • Azure Database for PostgreSQL
  • Azure SQL Database
  • Oracle 18c
追加のデータベースに対するサポート Talendで、Profilingパースペクティブに追加のデータベースを使用できるようになりました。
  • Amazon RDS for Aurora
  • Amazon RDS for MariaDB
  • Amazon RDS for Oracle
  • Amazon RDS for PostgreSQL
  • Amazon RDS for SQL Server
  • AS/400 V7R1~V7R3
  • Azure Database for MySQL
  • Azure Database for PostgreSQL
  • Azure SQL Database
  • Google BigQuery
  • IBM DB2 11.1
  • Ingres 10.2
  • Netezza 7.2
  • Oracle 18c
  • Snowflake (JDBC経由)
  • Sybase 15.5/15.7
  • Teradata 16
サバイバーシップルール T-Swooshアルゴリズムで、日付ではないカラムでのmost ancientおよびMost recentというサバイバーシップ関数がサポート対象となりました。
tBRMS tBRMSコンポーネントでRed Hat Decision Manager 7.3がサポート対象となりました。