R2021-06新增功能 - 7.3

Talend Big Data 产品发布说明

Version
7.3
Language
中文(简体)
Product
Talend Big Data
Talend Big Data Platform
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
Content
数据治理
版本说明

全面改进

功能

描述

补丁安装进度条 现在,当启动 Talend Studio 时会出现一个状态栏,以使您实时了解补丁安装进度。
JFrog Artifactory 支持升级 Talend 现在支持 JFrog Artifactory 7.19.8 版。

Big Data:新功能

功能

描述

产品

通过 Spark 3.0 支持 AWS EMR 6.2.x

现在可以在 AWS EMR 6.2.x 上通过 Spark 3.0 运行 Spark Batch、Spark Streaming 和标准作业。
注: 此功能存在一个涉及到与 Spark 3.0.1 和 Scala(用于 Spark Streaming 作业)配合使用的 tRedshiftOutput 组件的已知问题。
此功能不再处于技术预览状态。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Knox for CDP Public Cloud Data Hub 在 AWS 上获得支持(技术预览)

在 AWS 上使用 CDP Public Cloud Data Hub 实例时,现在可以使用 Knox,在 YARN 集群模式下,在与 CDP 7.1 及更高版本配合使用的 Spark 作业的 Spark 配置视图中进行身份验证。Knox 允许您只使用 SSO 提供单点身份验证。
重要: 由于只是技术预览,因此不适合生产环境。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

新的选项,用于将多个文件合并到一个用于 tFileOutputParquet 的文件中

现在,您可以在 Spark Batch 作业中使用 tFileOutputParquet 组件来管理最终的 part 文件。使用新的选项 Merge result to single file (将结果合并到单个文件),您可以将最终文件合并到单个文件,然后将这些文件放到指定的目录中。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Integration:新功能

功能

描述

产品

用于 ELT Map 组件的列名筛选器

在所有 ELT Map 组件的 Map 编辑器中,输入和输出表的右上角增加了一个 Enable/disable column name filter (启用/禁用列名筛选器) 按钮,用于按名称筛选输入和输出 schema 列。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

SAP 元数据向导的增强

在 SAP 元数据向导中增加了一个 SAP HANA 数据库连接参数 Db Additional Parameters (数据库附加参数),用于在设置 SAP 连接时提供额外的 SAP HANA 数据库连接参数。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

项目导出功能的增强

  • 现在默认选中 Export Dependencies (导出依赖关系) 选项,依赖关系默认与要导出的项目一起导出。
  • 现在会在为要导出的项目计算依赖关系时显示一个进度条。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

构建设置的增强

Project Settings (工程设置) 对话框中的 Build (构建) 视图中增加了一个 Allow recursive jobs (Not recommended) (允许递归作业 [不推荐]) 复选框,用于配置在构建作业时是否允许在 tRunJob 组件中使用递归作业。

警告: 当构建作业时,递归作业可能造成性能问题,因此要慎用此选项。
  • 对于新建的工程,默认清除了此复选框,以免造成性能问题。
  • 对于从以前的任何版本迁移的工程,出于兼容性原因,默认选中了此复选框。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

数据库组件 schema 编辑器的增强(技术预览)

数据库组件的 schema 编辑器对话框中增加了下面这两个按钮,用于编辑 Db Column (数据库列) 名称:

  • Uppercase/Lowercase Db column (大写/小写数据库列):将每个所选列的 Db Column (数据库列) 名称转换为大写或小写。
  • Add/Remove Quote on Db column (在数据库列上添加/移除引号):在每个所选列的 Db Column (数据库列) 名称中添加或移除指定的引号字符。
注:
  • 当在 Db Column (数据库列) 名称中添加了引号字符时,用于数据库输入组件的 Guess Query (推测查询) 功能无法使用。
  • 现在,对于所有的数据库,无法在包含空格字符的 Db Column (数据库列) 名称中正常添加引号字符。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tWorkdayInput:新的身份验证模式

tWorkdayInput 组件现已支持 SOAP - WS 安全认证模式

原有认证模式 (即 REST - 客户端 ID 认证模式 (不推荐使用)SOAP - 登录认证模式) 通过 HTTPS 协议实现。对于 SOAP - WS 安全认证模式,认证信息包含在消息中。相关信息请参见 WS Security

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tSAPADSOInput:自定义用于 SAP HANA 连接的附加 JDBC 参数

tSAPADSOInput 现在提供了 Additional JDBC Parameters (附加 JDBC 参数) 字段,允许您自定义用于 SAP HANA 连接的附加参数,例如用于高级数据存储对象的元数据。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tMicrosoftCrmInput:支持展开操作

tMicrosoftCrmInput 现在提供了 Expand entity (展开实体) 字段,允许您获取展开的实体属性以及向特定的列写入属性。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tS3Put:S3 对象锁定功能

tS3Put 现在支持 S3 对象锁定功能。您也可以设置保留模式和保留期。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tRabbitMQInput 和 tRabbitMQOutput:与消息标头相关的功能

  • tRabbitMQOutput 现在提供了 Header properties (标头属性) 字段,允许您添加和自定义消息标头属性。
  • tRabbitMQInput 现在提供了 Return headers 选项,它从接收到的消息中检索头信息并将头信息存储在 headers 列中。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tFileCopy:保留上次修改时间

Preserve the last modified time (保留上次修改时间) 选项将源文件的上次修改时间用作目标文件的上次修改时间。此选项可防止上次修改时间造成的潜在错误。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

输出组件:用于响应插入和更新操作的行为

对于输出数据库组件,将所有 schema 列都设置为键时,组件现在在执行插入和更新操作时以下列方式做出响应。

  • 在执行 Update (更新) 操作时产生一个错误并停止作业。当 tAmazonMysqlOutput 或 tMysqlOutput 执行 Insert or update on duplicate key or unique index (插入或更新重复键或唯一索引) 操作时,情况也是如此。
  • 在执行 Insert and update (插入并更新)Update and insert (更新并插入) 操作时,产生一个错误,但不停止作业。

此类组件包括 tAccessOutput、tAmazonMysqlOutput、tAmazonOracleOutput、tAS400Output、tAzureSynapseOutput、tDB2Output、tExasolOutput、tFireBirdOutput、tGreenPlumOutput、tHSQLDBOutput、tInformixOutput、tIngresOutput、tInterBaseOutput、tJavaDBOutput、tMaxDBOutput、tMSSqlOutput、tMysqlOutput、tNetezzaOutput、tOracleOutput、tParAccelOutput、tPostgresPlusOutput、tPostgresqlOutput、tRedshiftOutput、tSQLiteOutput、tSybaseOutput、tTeradataOutput、tVectorWiseOutput、tVerticaOutput。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

新组件

本次发布提供了以下新组件。

  • tNeo4jv4Connection、tNeo4jv4Close
  • tRabbitMQConnection、tRabbitMQClose

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Mapper:新功能

功能

描述

产品

新函数 Talend Data Mapper 中新增了两个函数:
  • False 将返回布尔值 false
  • True 将返回布尔值 true
  • Abs 用于计算一个数字的绝对值。
  • Count (计数) 用于统计一个序列中的项目数量。
  • Modulus (模) 将返回一个除法的余数。

Talend Big Data Platform

Talend Real-Time Big Data Platform

文档 映射 透视图中的 F1 快捷键和 Help (帮助) 按钮现在指向在线版本的文档。

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Quality:新功能

功能

描述

产品

tRuleSurvivorship Advanced settings (高级设置) 中:
  • t-Swoosh 复选框现已更名为 Input data generated with t-Swoosh algorithm (使用 t-Swoosh 算法生成的输入数据)。当输入数据来自使用 t-Swoosh 算法的 tMatchGroup 组件时,选中此复选框。
  • 增加了一个复选框:Ignore the new master record from tMatchGroup (忽略来自 tMatchGroup 的新主记录)。选中此复选框,以忽略 tMatchGroup 组件在使用 t-Swoosh 算法时添加到输入数据中的新主记录。

Talend Big Data Platform

Talend Real-Time Big Data Platform