R2021-06新增功能 - 7.3

Talend Data Fabric 发布说明

Version
7.3
Language
中文(简体)
Product
Talend Data Fabric
Content
数据治理
版本说明

全面改进

功能

描述

补丁安装进度条 现在,当启动 Talend Studio 时会出现一个状态栏,以使您实时了解补丁安装进度。
JFrog Artifactory 支持升级 Talend 现在支持 JFrog Artifactory 7.19.8 版。

Big Data:新功能

功能

描述

通过 Spark 3.0 支持 AWS EMR 6.2.x

现在可以在 AWS EMR 6.2.x 上通过 Spark 3.0 运行 Spark Batch、Spark Streaming 和标准作业。
注: 此功能存在一个涉及到与 Spark 3.0.1 和 Scala(用于 Spark Streaming 作业)配合使用的 tRedshiftOutput 组件的已知问题。
此功能不再处于技术预览状态。

Knox for CDP Public Cloud Data Hub 在 AWS 上获得支持(技术预览)

在 AWS 上使用 CDP Public Cloud Data Hub 实例时,现在可以使用 Knox,在 YARN 集群模式下,在与 CDP 7.1 及更高版本配合使用的 Spark 作业的 Spark 配置视图中进行身份验证。Knox 允许您只使用 SSO 提供单点身份验证。
重要: 由于只是技术预览,因此不适合生产环境。

新的选项,用于将多个文件合并到一个用于 tFileOutputParquet 的文件中

现在,您可以在 Spark Batch 作业中使用 tFileOutputParquet 组件来管理最终的 part 文件。使用新的选项 Merge result to single file (将结果合并到单个文件),您可以将最终文件合并到单个文件,然后将这些文件放到指定的目录中。

Data Integration:新功能

功能

描述

用于 ELT Map 组件的列名筛选器

在所有 ELT Map 组件的 Map 编辑器中,输入和输出表的右上角增加了一个 Enable/disable column name filter (启用/禁用列名筛选器) 按钮,用于按名称筛选输入和输出 schema 列。

SAP 元数据向导的增强

在 SAP 元数据向导中增加了一个 SAP HANA 数据库连接参数 Db Additional Parameters (数据库附加参数),用于在设置 SAP 连接时提供额外的 SAP HANA 数据库连接参数。

项目导出功能的增强

  • 现在默认选中 Export Dependencies (导出依赖关系) 选项,依赖关系默认与要导出的项目一起导出。
  • 现在会在为要导出的项目计算依赖关系时显示一个进度条。

构建设置的增强

Project Settings (工程设置) 对话框中的 Build (构建) 视图中增加了一个 Allow recursive jobs (Not recommended) (允许递归作业 [不推荐]) 复选框,用于配置在构建作业时是否允许在 tRunJob 组件中使用递归作业。

警告: 当构建作业时,递归作业可能造成性能问题,因此要慎用此选项。
  • 对于新建的工程,默认清除了此复选框,以免造成性能问题。
  • 对于从以前的任何版本迁移的工程,出于兼容性原因,默认选中了此复选框。

数据库组件 schema 编辑器的增强(技术预览)

数据库组件的 schema 编辑器对话框中增加了下面这两个按钮,用于编辑 Db Column (数据库列) 名称:

  • Uppercase/Lowercase Db column (大写/小写数据库列):将每个所选列的 Db Column (数据库列) 名称转换为大写或小写。
  • Add/Remove Quote on Db column (在数据库列上添加/移除引号):在每个所选列的 Db Column (数据库列) 名称中添加或移除指定的引号字符。
注:
  • 当在 Db Column (数据库列) 名称中添加了引号字符时,用于数据库输入组件的 Guess Query (推测查询) 功能无法使用。
  • 现在,对于所有的数据库,无法在包含空格字符的 Db Column (数据库列) 名称中正常添加引号字符。

tWorkdayInput:新的身份验证模式

tWorkdayInput 组件现已支持 SOAP - WS 安全认证模式

原有认证模式 (即 REST - 客户端 ID 认证模式 (不推荐使用)SOAP - 登录认证模式) 通过 HTTPS 协议实现。对于 SOAP - WS 安全认证模式,认证信息包含在消息中。相关信息请参见 WS Security

tSAPADSOInput:自定义用于 SAP HANA 连接的附加 JDBC 参数

tSAPADSOInput 现在提供了 Additional JDBC Parameters (附加 JDBC 参数) 字段,允许您自定义用于 SAP HANA 连接的附加参数,例如用于高级数据存储对象的元数据。

tMicrosoftCrmInput:支持展开操作

tMicrosoftCrmInput 现在提供了 Expand entity (展开实体) 字段,允许您获取展开的实体属性以及向特定的列写入属性。

tS3Put:S3 对象锁定功能

tS3Put 现在支持 S3 对象锁定功能。您也可以设置保留模式和保留期。

tRabbitMQInput 和 tRabbitMQOutput:与消息标头相关的功能

  • tRabbitMQOutput 现在提供了 Header properties (标头属性) 字段,允许您添加和自定义消息标头属性。
  • tRabbitMQInput 现在提供了 Return headers 选项,它从接收到的消息中检索头信息并将头信息存储在 headers 列中。

tFileCopy:保留上次修改时间

Preserve the last modified time (保留上次修改时间) 选项将源文件的上次修改时间用作目标文件的上次修改时间。此选项可防止上次修改时间造成的潜在错误。

输出组件:用于响应插入和更新操作的行为

对于输出数据库组件,将所有 schema 列都设置为键时,组件现在在执行插入和更新操作时以下列方式做出响应。

  • 在执行 Update (更新) 操作时产生一个错误并停止作业。当 tAmazonMysqlOutput 或 tMysqlOutput 执行 Insert or update on duplicate key or unique index (插入或更新重复键或唯一索引) 操作时,情况也是如此。
  • 在执行 Insert and update (插入并更新)Update and insert (更新并插入) 操作时,产生一个错误,但不停止作业。

此类组件包括 tAccessOutput、tAmazonMysqlOutput、tAmazonOracleOutput、tAS400Output、tAzureSynapseOutput、tDB2Output、tExasolOutput、tFireBirdOutput、tGreenPlumOutput、tHSQLDBOutput、tInformixOutput、tIngresOutput、tInterBaseOutput、tJavaDBOutput、tMaxDBOutput、tMSSqlOutput、tMysqlOutput、tNetezzaOutput、tOracleOutput、tParAccelOutput、tPostgresPlusOutput、tPostgresqlOutput、tRedshiftOutput、tSQLiteOutput、tSybaseOutput、tTeradataOutput、tVectorWiseOutput、tVerticaOutput。

新组件

本次发布提供了以下新组件。

  • tNeo4jv4Connection、tNeo4jv4Close
  • tRabbitMQConnection、tRabbitMQClose

Data Mapper:新功能

功能

描述

新函数 Talend Data Mapper 中新增了两个函数:
  • False 将返回布尔值 false
  • True 将返回布尔值 true
  • Abs 用于计算一个数字的绝对值。
  • Count (计数) 用于统计一个序列中的项目数量。
  • Modulus (模) 将返回一个除法的余数。
文档 映射 透视图中的 F1 快捷键和 Help (帮助) 按钮现在指向在线版本的文档。

Data Quality:新功能

功能

描述

tRuleSurvivorship Advanced settings (高级设置) 中:
  • t-Swoosh 复选框现已更名为 Input data generated with t-Swoosh algorithm (使用 t-Swoosh 算法生成的输入数据)。当输入数据来自使用 t-Swoosh 算法的 tMatchGroup 组件时,选中此复选框。
  • 增加了一个复选框:Ignore the new master record from tMatchGroup (忽略来自 tMatchGroup 的新主记录)。选中此复选框,以忽略 tMatchGroup 组件在使用 t-Swoosh 算法时添加到输入数据中的新主记录。