R2020-09 新增功能 - 7.3

Talend Data Fabric 发布说明

Version
7.3
Language
中文(简体)
Product
Talend Data Fabric
Content
数据治理
版本说明

Big Data:新功能

功能

描述

支持 Databricks 6.4 AWS (作为技术预览) 和 Azure 现在支持 Databricks 6.4。
在 tDeltaLakeInput 中使用 SQL 查询 查询选项现在可用。其允许您使用 SQL 查询来获取数据。
tS3Configuration 使用规则更改 现在,您可以将多个 tS3Configuration 组件添加到 Spark Streaming 或 Spark Batch 作业。其允许您在作业中使用多个 S3 桶,因而可以将数据从一个桶移至另一个桶。
为 tS3Configuration 提供传输中加密 在 tS3Configuration 组件中使用 SSE-KMS 加密时,现在可以选择是否在传输过程中对数据进行加密。
注: 系统会默认选中传输中加密选项。
在 Sqoop 组件中使用通用和特定参数 你可以在以下 Sqoop 组件中使用通用和特定参数:
  • tSqoopExport
  • tSqoopImport
  • tSqoopImportAllTables
在 Google Dataproc 发行版上使用服务帐户进行身份验证 tHiveInput 组件提供 Authentication type (身份验证类型) 属性,借助该属性,您可以使用服务帐户或者访问密钥和密钥对工程进行身份验证。
tS3Configuration 采用新的默认文件系统 S3N 现在已弃用。因此,S3A 文件系统成为 tS3Configuration 默认会使用的文件系统。

Data Integration:新功能

功能

描述

Git 冲突解决能力增强 Talend Studio 现在支持在 EMF 比较编辑器中比较下列元数据连接类型的冲突项:
  • JDBC
  • Azure 存储
  • Data Stewardship
  • Google 驱动器
  • Marketo
  • MarkLogic
  • Salesforce
  • Snowflake
记录性能增强 现在可以通过 Help (帮助) > Support Logs (支持日志) 菜单项收集和导出 Talend Studio 登录性能数据。

SAP 数据提取性能改善

为 SAP 数据提取提供了流式处理模式,该模式支持多个线程并提高了数据提取性能。这是通过将 SAP 传输 TEDK910058.zip 替换为 TEDK910105.zip 实现的。流式处理模式提供了三个用于配置流式处理模式的新参数:#feature.streaming.threadCount#feature.streaming.topic.partitionCount#feature.streaming.topic.replicationFactor;以下三个选项已添加到 tSAPTableInput 和 tELTSAPMap 组件中:Number of threads to extract the data from SAP (从 SAP 提取数据的线程数)Kafka topic partition count (Kafka 主题分区数)Max time to wait for more data (等待更多数据的最长时间)。要以流式处理模式提取数据,您还需要使用此处提供的补丁升级 RFC 服务器。

tAmazonRedshiftManage 增强

tAmazonRedshiftManage 现在可以暂停和恢复 Redshift 集群。

tTeradataTPTExec 和 tTeradataTPTUtility 增强

这两个组件提供 Enforce database name on Log, Work, and Error tables (在日志、工作和错误表上执行数据库名称) 选项,允许您为工作表、错误表和日志表指定除默认数据库之外的数据库。

tPetals 组件已弃用

组件 tPetalsInput 和 tPetalsOutput 已弃用。

schema 键用于更新或插入操作

除 schema 列之外,schema 键也可以用于更新或插入操作。组件包括:

  • tSnowflakeOutput
  • tSnowflakeBulkExec
  • tSnowflakeOutputBulkExec
提供了新组件:Delta Lake 组件和 RabbitMQ 组件

以下组件是此版本中标准作业框架的新增组件。

  • tDeltaLakeClose
  • tDeltaLakeConnection
  • tDeltaLakeInput
  • tDeltaLakeOutput
  • tDeltaLakeRow
  • tRabbitMQInput
  • tRabbitMQOutput

Delta Lake 连接元数据向导

向导将指导您完成在 Talend Studio 中创建 Delta Lake 连接元数据的步骤。

tDatasetInput 和 tDatasetOutput:简化了配置

tDatasetInput 和 tDatasetOutput:Advanced settings (高级设置) 视图中删除了 Platform (平台) 下拉列表。

Studio 中的 Neo4J version 4.x 组件

Talend Studio 中现在提供了用于执行标准作业的 tNeo4Jv4Input 和 tNeo4jv4Output。

Data Mapper:新功能

功能

描述

新函数 Talend Data Mapper 中新增了两个函数:
  • FormatDateTime 用于将日期时间元素转换为特定模式的字符串。
  • RightAlign 用于指定输出平面文件中字符串中的文本应右对齐。
tHMap 的 Java Reflection 首选项 借助 Components Preferences (组件首选项) 中的新首选项,可以在 tHMap 组件生成的代码中禁用 Java Reflection。