R2021-10 新增功能 - 7.3

Talend Big Data 产品发布说明

Version
7.3
Language
中文(简体)
EnrichDitaval
Big Data
Product
Talend Big Data
Talend Big Data Platform
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
Content
数据治理
版本说明

Big Data:新功能

功能

描述

产品

Spark 3.0 下支持 Azure Synapse 发行版

仅在 YARN 集群模式下使用 Spark 3.0 时,您现在可以使用 Azure Synapse Analytics 与 Apache Spark 池协同作为一个新的发行版用于您的 Spark Batch 和 Spark Streaming 作业。您可以在 Spark 作业中的 Spark 配置 视图或 Hadoop 集群连接 元数据向导中进行配置。更多信息,请参见 Defining the Azure Synapse Analytics connection parameters (英文版)。

您可以借助 Azure Synapse Analytics 的这种分析引擎处理您的数据。通过 Apache Spark 池,您可以实现各种计算能力 (比如计算速度和效率) 并兼容 ADLS Gen2 存储。

此特性现已正式可用。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Cloudera CDP 7.1.x 支持 Hive Warehouse Connector 在含有下列组件的 Spark Batch 作业中,您可以使用 Hive Warehouse Connector 对 Hive 事务性管理数据表进行数据读写操作:
  • tHiveWarehouseConfiguration: 启用 Hive Warehouse Connector 连接配置重用在同一个作业中进行 Hive 操作。
  • tHiveWarehouseInput: 使用 Hive Warehouse Connector 从 Hive 提取数据并将数据发送到下一个组件。
  • tHiveWarehouseOutput: 连接到特定的 Hive 数据库并使用 Hive Warehouse Connector 向指定的 Hive 数据表或 HDFS 系统中的目录写入数据。

通过 Hive Warehouse Connector,Talend Studio 支持 Hive 事务性管理数据表,使您得以更好地对您的数据进行事务性控制。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Integration:新功能

功能

描述

产品

tWorkdayInput:X.509 证书的支持 tWorkdayInput 组件新增了一个名为 WS Security with certificate authentication 的 Web 服务安全选项,改选项允许您使用 X.509 证书对消息进行安全保护。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tSnowflakeOutputBulk, tSnowflakeBulkExec, 及 tSnowflakeOutputBulkExec: 获得与 AWS IAM 角色关联的访问权限

tSnowflakeOutputBulk, tSnowflakeBulkExec, 及 tSnowflakeOutputBulkExec 组件新增了 S3 assume role (S3 获取临时角色) 选项,使您可以获取与 AWS IAM 角色关联的访问权限。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tSnowflakeBulkExec 及 tSnowflakeOutputBulkExec: 新增 COPY 命令鉴权选项

tSnowflakeBulkExec 和 tSnowflakeOutputBulkExec 组件新增了 Snowflake access to storage 下拉列表,用于 COPY 命令鉴权。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tFileOutputExcel:流式数据追加

tFileOutputExcel 组件新增了 Streaming append (流式追加) 选项,勾选此选项后,您即以数据流模式向已存的文件追加数据。此选项有助于在内存有限的情况下写入大量数据时提升性能。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tSalesforceInput 及 tSalesforceOutput: Datetime 数据类型使用 UTC 时间

tSalesforceInput 和 tSalesforceOutput 组件新增了 Use UTC time for datetime (Datetime 类型使用 UTC 时间) 选项,勾选此选项后,datetime 类型的列使用 UTC 时间。如果不勾选此选项,则使用当地时间。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

提供了新组件

本次发布提供了以下新组件:

  • tFileInputORCtFileOutputORC,用于读写 ORC 格式的文件。
  • tCyberarkInput,用于动态获取 CyberArk 管理的指定应用登录信息并传给所连接的需要此信息的组件。由于避免了应用登录信息的暴露,提升了安全性。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Google 驱动器组件:新增对共享文件、文件夹和驱动器的支持

Advanced settings (高级设置) 页面新增了 Include shared folders/files (包括共享文件和文件夹) 和 Include shared drives (包括共享驱动器) 选项,方便您访问共享的文件、文件夹和驱动器。新增了 Corpora type (主体类型) 选项以缩小文件和文件夹的搜索范围。

上述选项见于 tGoogleDriveCopy、tGoogleDriveCreate、tGoogleDriveDelete、tGoogleDriveGet、tGoogleDriveList 和 tGoogleDrivePut 组件。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tGoogleDriveList: 新增 Use query (使用查询) 选项以优化搜索

Advanced settings (高级设置) 页面新增了 Use query (使用查询) 选项,以方便您搜索特定文件和文件夹。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Quality:新功能

功能

描述

产品

报表中有关块键和匹配键 报表中新增了两个表以获取有关块键和匹配键的详细信息。

Talend Big Data Platform

Talend Real-Time Big Data Platform