R2020-09 新增功能 - 7.3

Talend Big Data 产品发布说明

Version
7.3
Language
中文(简体)
Product
Talend Big Data
Talend Big Data Platform
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
Content
数据治理
版本说明

Big Data:新功能

功能

描述

产品

支持 Databricks 6.4 AWS (作为技术预览) 和 Azure 现在支持 Databricks 6.4。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

在 tDeltaLakeInput 中使用 SQL 查询 查询选项现在可用。其允许您使用 SQL 查询来获取数据。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tS3Configuration 使用规则更改 现在,您可以将多个 tS3Configuration 组件添加到 Spark Streaming 或 Spark Batch 作业。其允许您在作业中使用多个 S3 桶,因而可以将数据从一个桶移至另一个桶。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

为 tS3Configuration 提供传输中加密 在 tS3Configuration 组件中使用 SSE-KMS 加密时,现在可以选择是否在传输过程中对数据进行加密。
注: 系统会默认选中传输中加密选项。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

在 Sqoop 组件中使用通用和特定参数 你可以在以下 Sqoop 组件中使用通用和特定参数:
  • tSqoopExport
  • tSqoopImport
  • tSqoopImportAllTables

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

在 Google Dataproc 发行版上使用服务帐户进行身份验证 tHiveInput 组件提供 Authentication type (身份验证类型) 属性,借助该属性,您可以使用服务帐户或者访问密钥和密钥对工程进行身份验证。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tS3Configuration 采用新的默认文件系统 S3N 现在已弃用。因此,S3A 文件系统成为 tS3Configuration 默认会使用的文件系统。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Integration:新功能

功能

描述

产品

Git 冲突解决能力增强 Talend Studio 现在支持在 EMF 比较编辑器中比较下列元数据连接类型的冲突项:
  • JDBC
  • Azure 存储
  • Data Stewardship
  • Google 驱动器
  • Marketo
  • MarkLogic
  • Salesforce
  • Snowflake

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

记录性能增强 现在可以通过 Help (帮助) > Support Logs (支持日志) 菜单项收集和导出 Talend Studio 登录性能数据。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

SAP 数据提取性能改善

为 SAP 数据提取提供了流式处理模式,该模式支持多个线程并提高了数据提取性能。这是通过将 SAP 传输 TEDK910058.zip 替换为 TEDK910105.zip 实现的。流式处理模式提供了三个用于配置流式处理模式的新参数:#feature.streaming.threadCount#feature.streaming.topic.partitionCount#feature.streaming.topic.replicationFactor;以下三个选项已添加到 tSAPTableInput 和 tELTSAPMap 组件中:Number of threads to extract the data from SAP (从 SAP 提取数据的线程数)Kafka topic partition count (Kafka 主题分区数)Max time to wait for more data (等待更多数据的最长时间)。要以流式处理模式提取数据,您还需要使用此处提供的补丁升级 RFC 服务器。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tAmazonRedshiftManage 增强

tAmazonRedshiftManage 现在可以暂停和恢复 Redshift 集群。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tTeradataTPTExec 和 tTeradataTPTUtility 增强

这两个组件提供 Enforce database name on Log, Work, and Error tables (在日志、工作和错误表上执行数据库名称) 选项,允许您为工作表、错误表和日志表指定除默认数据库之外的数据库。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tPetals 组件已弃用

组件 tPetalsInput 和 tPetalsOutput 已弃用。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

schema 键用于更新或插入操作

除 schema 列之外,schema 键也可以用于更新或插入操作。组件包括:

  • tSnowflakeOutput
  • tSnowflakeBulkExec
  • tSnowflakeOutputBulkExec

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

提供了新组件:Delta Lake 组件和 RabbitMQ 组件

以下组件是此版本中标准作业框架的新增组件。

  • tDeltaLakeClose
  • tDeltaLakeConnection
  • tDeltaLakeInput
  • tDeltaLakeOutput
  • tDeltaLakeRow
  • tRabbitMQInput
  • tRabbitMQOutput

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Delta Lake 连接元数据向导

向导将指导您完成在 Talend Studio 中创建 Delta Lake 连接元数据的步骤。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tDatasetInput 和 tDatasetOutput:简化了配置

tDatasetInput 和 tDatasetOutput:Advanced settings (高级设置) 视图中删除了 Platform (平台) 下拉列表。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Studio 中的 Neo4J version 4.x 组件

Talend Studio 中现在提供了用于执行标准作业的 tNeo4Jv4Input 和 tNeo4jv4Output。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Mapper:新功能

功能

描述

产品

新函数 Talend Data Mapper 中新增了两个函数:
  • FormatDateTime 用于将日期时间元素转换为特定模式的字符串。
  • RightAlign 用于指定输出平面文件中字符串中的文本应右对齐。

Talend Big Data Platform

Talend Real-Time Big Data Platform

tHMap 的 Java Reflection 首选项 借助 Components Preferences (组件首选项) 中的新首选项,可以在 tHMap 组件生成的代码中禁用 Java Reflection。

Talend Big Data Platform

Talend Real-Time Big Data Platform