Data Quality:新功能 - 7.1

Talend Big Data 产品版本说明

EnrichVersion
7.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
task
数据治理

功能

描述

Talend Big Data Platform

Talend Real-Time Big Data Platform

Talend Studio 中基于词语的模式分析 在这个更为通用的分析模式中,分析粒度为词语而非字符。

在准备数据以及用于探索分析和发现目的时,基于词语的模式可让新数据模式具有更高可见性。

Talend Studio 中分析日文数据 剖析 透视图中支持日文字符,使得日文字符支持水平类似于拉丁字符支持水平,并实现了日文数据管护和数据质量。
Talend Studio 中处理日文数据 Apache Spark 框架中使用的新组件已在 Talend Studio 中引用。
  • tJapaneseNumberNormalize 将日文数字 (kansūji) 规范化为常规阿拉伯数字
  • tJapaneseTokenize 将日语文本拆分为令牌。
  • tJapaneseTransliterate 将日语文本转换为假名和拉丁脚本。
Talend Studio 中的亚洲数据屏蔽 tDataMasking 组件中的以下函数支持亚洲字符:
  • 从模式生成
  • 替换两个位置之间的字符
  • 替换所有
  • 替换所有字母
  • 替换前 n 个字符
  • 替换后 n 个字符
Talend Studio 中的连续数据屏蔽 Generate unique phone number (生成唯一电话号码) 函数已添加到 tDataMasking 组件中:此函数通过生成有效的唯一随机电话号码屏蔽不同国家/地区 (中国、法国、德国、印度、日本、英国和美国) 的电话号码。
使用 tGoogleAddressRow 组件获得国际电话号码 tGoogleAddressRow 组件已更新为能获取国际电话号码。
审计 Talend Dictionary Service 中的用户操作 审计 Talend Dictionary Service 中的所有用户操作,包括登录/退出、配置更新和部署。这有助于确保更好地符合安全规则和条例。
Talend Dictionary Service 中的语义类型质量操作 现在您可以一次性导入、导出、移除和发布多个语义类型,可以一次从一个环境到另一个环境推广整个工程。
国际化 Talend Studio 中的 剖析 透视图界面已翻译为中文,拓展了国际应用范围。
对其他数据库的支持 Talend 现在支持适用于据质量数据集市、Talend DQ Portal 和 Data Quality 组件的其他数据库:
  • Microsoft SQL Server 2017
  • MySQL 8.0
  • PostgreSQL 10
对其他数据库的支持 Talend 现在支持适用于 剖析 透视图的其他数据库:
  • Denodo
  • Microsoft SQL Server 2017
  • MySQL 8.0
  • PostgreSQL 10
Spark 2.3 支持 Talend 在具有以下组件的 Talend Studio 中运行作业时支持 Spark 2.3 (本地模式):
  • tALSModel
  • tDataMasking
  • tDataShuffling
  • tJapaneseNumberNormalize
  • tJapaneseTokenize
  • tJapaneseTransliterate
  • tMatchIndex
  • tMatchIndexPredict
  • tMatchModel
  • tMatchPairing
  • tNaiveBayesModel
  • tPatternMasking
  • tPredict
  • tRecommend
  • tReservoirSampling
  • tRuleSurvivorship
  • tStandardizePhoneNumber
  • tSynonymSearch
  • tTransliterate
  • tVerifyEmail