R2020-05 新增功能 - 7.3

Talend Master Data Management 产品发布说明

EnrichVersion
7.3
EnrichProdName
Talend MDM Platform
task
Release Notes
数据治理

R2020-05 Studio 每月发布包含以下新增功能。

Big Data

功能

描述

产品

对 EMR 5.29 的支持 在 5.29 版本中,您可以使用 Amazon EMR 发行版运行 Talend 作业。
将新数据更新插入现有 Delta Lake 表 在配置如何在 tDeltaLakeOutput 中保存数据集时,选择 Merge (合并) 以将来自数据流或另一 Delta Lake 表的新数据更新插入现有 Delta Lake 表。新字段可用于配置要合并哪些列以及如何执行此合并。
检查数据与 EMR 集群的一致性 在使用 tS3Configuration时,启用 Use consistent view (使用 EMRFS 一致性视图) 来使用 EMR 文件系统 (EMRFS) 一致性视图。此选项允许 EMR 集群检查由 EMRFS 编写或与其同步的 Amazon S3 对象的列表和写后读 (read-after-write) 的一致性。
tHiveConfiguration 中的 Spark catalog (Spark 目录) 配置 您必须在 tHiveConfiguration 配置中指定具有 Spark catalog (Spark 目录) 属性的 Spark 实施。要选择的值取决于 Hive 元存储是否位于集群外部。此配置可防止运行时出错。此属性仅适用于 Spark 批处理作业。
对 Oracle 19c 的支持 Oracle 19c 现在受以下 Big Data 组件支持。
Spark 批处理:
  • tOracleConfiguration
  • tOracleInput
  • tOracleOutput
Spark Streaming:
  • tOracleConfiguration
  • tOracleLookupInput
  • tOracleOutput
DynamoDB 组件中的高级 Assume Role (获取临时角色) 配置 当您在 tDynamoDBInput 和 tDynamoDBOutput 组件中启用了 Assume Role (获取临时角色) 选项时,您现在可以在 Advanced settings (高级设置) 视图中配置以下属性来微调您的配置:
  • Signing region (签名区域) (强制)
  • External Id (外部 ID)
  • Serial number (序列号)
  • Token code (令牌代码)
  • Tags (标记)
  • IAM Policy ARN (IAM 策略 ARN)
  • Policy (策略)
从次要索引访问数据 当您使用 tDynamoDBInput 组件从表中获取数据时,您可以在组件配置中指定一个次要索引以提高查询和扫描的性能。

Data Integration

功能

描述

产品

远程 TAC 连接改进 如果 AD 密码已更改,则会提示具有 LDAP 的用户在 Talend Studio 中输入新的登录凭据。

Talend MDM Platform

标题栏改进 标题栏上 Talend Studio 的标题将被更新,以显示安装补丁后的补丁版本信息。

Talend MDM Platform

AWS SDK 驱动程序升级 Talend Studio 元数据中 Redshift SSO 连接的 AWS SDK 驱动程序已经升级。

Talend MDM Platform

上下文传播增强 改进了 Data Integration 引用工程的上下文传播功能。现在,引用工程中的任何上下文变量更新都可以自动同步到主工程。

Talend MDM Platform

tSQLDWH 组件名称更改 tSQLDWH 组件名称更改。详细情况如下。
  • tSQLDWHBulkExec 重命名为 tAzureSynapseBulkExec
  • tSQLDWHClose 重命名为 tAzureSynapseClose
  • tSQLDWHCommit 重命名为 tAzureSynapseCommit
  • tSQLDWHConnection 重命名为 tAzureSynapseConnection
  • tSQLDWHInput 重命名为 tAzureSynapseInput
  • tSQLDWHOutput 重命名为 tAzureSynapseOutput
  • tSQLDWHRollback 重命名为 tAzureSynapseRollback
  • tSQLDWHRow 重命名为 tAzureSynapseRow

Talend MDM Platform

支持 Azure Data Lake Storage Gen2。 在在 Basic settings (基本设置) 视图的 Azure Storage (Azure 存储) 下拉列表中, tAzureSynapseBulkExec 组件提供 Data Lake Storage Gen2 选项,在 Advanced settings (高级设置) 视图中,tAzureSynapseBulkExec 组件提供 Secure transfer required (需要安全传输) 选项。tAzureSynapseBulkExec 组件Azure Storage 下拉列表中原有有选项 Data Lake Store 更改为 Data Lake Storage Gen1。Azure Storage 下拉列表中的现有选项 Data Lake Store 已更改为 Data Lake Storage Gen1

Talend MDM Platform

tELTTeradataMap:更新了关系操作符 ELT Teradata Map 编辑器使用以下操作符:=<=<>=><>;之前版本中相应的操作符,包括 EQLELTGEGTNE 已弃用,如下图所示。
现有:
更改为:

Talend MDM Platform

支持 Azure Active Directory 身份验证 在使用以下组件建立连接时,可以选择使用 Azure Active Directory 身份验证方式。
  • tAzureSynapseBulkExec, tAzureSynapseConnection, tAzureSynapseInput, tAzureSynapseOutput, tAzureSynapseRow
  • tELTMSSqlMap
  • tMSSqlBulkExec、tMSSqlConnection、tMSSqlInput、tMSSqlOutput、tMSSqlOutputBulkExec、tMSSqlRow、tMSSqlSCD、tMSSqlSP
  • tCreateTable

Talend MDM Platform

tAzureSynapseBulkExec:支持使用 COPY 语句加载数据

tAzureSynapseBulkExec 支持使用 COPY 语句加载数据,对该组件进行了以下更改。

Basic settings (基本设置) 视图中:
  • Load method (加载方法) 下拉列表 (新增);
  • Azure storage (Azure 存储) 下拉列表 (已更新);
  • Authentication method (身份验证方法) 下拉列表 (新增);
  • SAS token (SAS 令牌) 字段 (新增);
  • Endpoint suffix (端点后缀) 字段 (新增);
  • External paths (外部路径) 选项 (新增)。
Advanced settings (高级设置) 视图中:
  • File type (文件类型) 下拉列表 (新增);
  • Specify map to source table fields (指定映射到源表字段) 选项 (新增);
  • First row (第一行) 字段 (新增);
  • Field quote (字段引用) 字段 (新增);
  • Field terminator (字段终止符) 字段 (新增);
  • Row terminator (行终止符) 字段 (新增);
  • Date format (日期格式) 下拉列表 (新增);
  • Encoding (编码) 下拉列表 (新增);
  • Identity insert (标识插入) 选项 (新增);
  • Max errors (最大错误数) 字段 (新增);
  • Compressed by (压缩类型) 下拉列表 (已更新)。

Talend MDM Platform

Data Quality

功能 描述

产品

组件 所有 Data Quality 组件都可以在 Azure 和 AWS 上运行 Databricks,tMatchIndextMatchIndexPredict 除外。

因为这些组件不支持 Elasticsearch 身份验证,所以无法在 Databricks 上运行。

Talend MDM Platform

ESB

功能 描述

产品

REST 服务 现在完全支持在数据服务和路由中的 REST 服务提供者和使用者端点中使用上下文变量。

Talend MDM Platform

Microservice Microservice 现在能够提供指标给 Prometheus。

Talend MDM Platform