R2021-02 新增功能 - 7.3

Talend Master Data Management 产品发布说明

EnrichVersion
7.3
EnrichProdName
Talend MDM Platform
task
Release Notes
数据治理

R2021-02 Studio 每月发布包含以下新增功能。

Big Data:新功能

功能

描述

产品

对于 Spark 作业,在本地模式下支持 Spark 3.0 Talend Studio 中运行作业时,Talend 现在在本地模式下支持 Spark 3.0。
注: 在本地模式下,以下元素不支持 Spark 3.0:
  • ADLS Gen2
  • tCassandraInput 和 tCassandraOutput
  • tElasticSearchInput 和 tElasticSearchOutput
通过 Spark 3.0 组件支持 Databricks 7.3 LTS(技术预览)
作为技术预览,您现在可以使用 Spark 3.0 在 AWS 和 Azure 上的 Databricks 7.3 LTS 发行版上运行 Spark 批处理和 Spark Streaming 作业,以用于交互式和临时集群。支持以下组件:
  • tAvroInput 和 tAvroOutput
  • tAzureFSConfiguration
  • tFileInputDelimited 和 tFileOutputDelimited
  • tFileInputJSON 和 tFileOutputJSON
  • tFileInputParquet 和 tFileOutputParquet
  • tFileInputXML 和 tFileOutputXML
  • tFixedFlowInput
  • tLogRow
  • tS3Configuration
重要: 由于只是技术预览,因此不适合生产环境。
瞬态 Databricks 集群可用的新选项 现在,当您从 Spark 作业的 Spark configuration (Spark 配置) 视图创建临时 Databricks 集群时,可以对配置进行微调。以下属性现在可用:
  • Enable credentials passthrough (启用用户名和密码传递)
  • Spot with fall back to On-demand (点可按需回退)
  • Availability zone (可用性区域)
  • Max spot price (最高点价格)
  • EBS volume type (EBS 卷类型)
  • Custom tags (自定义标记)
  • Init scripts (Init 脚本)
从可用于 Spark 批处理作业中的 DynamoDB 组件的 AWS 角色选项继承用户名和密码 现在,以下 DynamoDB 组件支持使用新的 Inherit credentials from AWS role (从 AWS 角色继承用户名和密码) 选项,可以从 Amazon EC2 实例元数据获取 AWS 安全证书,新选项包括:
  • tDynamoDBInput
  • tDynamoDBOutput
  • tDynamoDBConfiguration

这样您就无需在 Talend Studio 中指定任何访问密钥或密钥。

Data Integration:新功能

功能

描述

产品

进一步增强库共享功能

Talend Studio 现在支持配置是否在启动时通过 Preferences (首选项) 对话框的 Talend > Artifact Repository (构件库) > Libraries (工具库) 视图中的 Share libraries to artifact repository at startup (在启动时将库共享到工件库) 复选框将组件库共享到本地库存储库。

Talend MDM Platform

支持 Databricks Delta Lake 映射

以下组件为 Databricks Delta Lake 映射提供支持。

  • tELTInput、tELTOutput、tELTMap
  • tSQLTemplate、tSQLTemplateMerge、tSQLTemplateAggregate、tSQLTemplateCommit、tSQLTemplateRollback、tSQLTemplateFilterRow、tSQLTemplateFilterColumns

Talend MDM Platform

提供了更新和删除操作的新选项

Basic settings (基本设置) 视图中提供了 Use WHERE conditions table (使用 WHERE 条件表) 选项和 Where conditions table (Where 条件表) 字段。此更改提高了生产率。组件包括:

  • tELTGreenplumOutput、tELTMSSqlOutput、tELTMysqlOutput、tELTNetezzaOutput、tELTOracleOutput、tELTOutput、tELTPostgresqlOutput、tELTSybaseOutput、tELTTeradataOutput、tELTVerticaOutput

Talend MDM Platform

tRedshiftBulkExec:支持新的文件类型

tRedshiftBulkExec 组件可以加载存储在 Apache Parquet 文件中的数据。

Talend MDM Platform

tFileOutputExcel:针对 Excel2007 文件提供的新选项

tFileOutputExcel 组件提供了 Truncate characters exceeding max cell length (截断超过最大单元格长度的字符) 选项,可以防止在写入 Excel2007 单元格的字符串超过允许的最大长度 (即 32767 个字符) 时发生错误。

Talend MDM Platform

tChangeFileEncoding:缓冲区大小可定制

tChangeFileEncoding 组件提供 Buffer Size (缓冲区大小) 字段,使您可以指定用于更改文件编码的缓冲区大小。

Talend MDM Platform

Safety Switch option available to tSalesforceBulkExec and tSalesforceOutputBulkExec

The Safety Switch option has been provided by tSalesforceInput for Salesforce columns that are 100000 characters in length. It is also available to tSalesforceBulkExec and tSalesforceOutputBulkExec in this release.

Talend MDM Platform

Data Mapper:新功能

功能

描述

产品

十进制元素的新选项 在 CSV、Flat、JSON、Map 和 XML 表示属性中,添加了两个新选项来处理十进制元素并解决与隐含小数有关的问题:
  • 如果将 Decimal Places (小数位数) 属性设置为 0,则您可以使用 Enforce zero scale on output decimals? (输出小数点强制零标度?) 选项删除小数位。
  • 使用 Decimal sign is implied on output (小数点暗含在输出中) 选项可以删除输出中的小数点。

Talend MDM Platform

Data Quality:新功能

功能

描述

产品

在本地模式下支持 Spark 3.0 Spark 组件在本地模式下支持 Apache Spark 3.0,但 tMatchIndex、tMatchIndexPredict、tNLPModel、tNLPPredict 和 tNLPPreprocessing 除外。

Talend MDM Platform