R2021-02 新增功能 - 7.3

Talend Big Data 产品发布说明

Version
7.3
Language
中文(简体)
Product
Talend Big Data
Talend Big Data Platform
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
Content
数据治理
版本说明

Big Data:新功能

功能

描述

产品

对于 Spark 作业,在本地模式下支持 Spark 3.0 Talend Studio 中运行作业时,Talend 现在在本地模式下支持 Spark 3.0。
注: 在本地模式下,以下元素不支持 Spark 3.0:
  • ADLS Gen2
  • tCassandraInput 和 tCassandraOutput
  • tElasticSearchInput 和 tElasticSearchOutput

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

通过 Spark 3.0 组件支持 Databricks 7.3 LTS(技术预览)
作为技术预览,您现在可以使用 Spark 3.0 在 AWS 和 Azure 上的 Databricks 7.3 LTS 发行版上运行 Spark Batch 和 Spark Streaming 作业,以用于交互式和临时集群。支持以下组件:
  • tAvroInput 和 tAvroOutput
  • tAzureFSConfiguration
  • tFileInputDelimited 和 tFileOutputDelimited
  • tFileInputJSON 和 tFileOutputJSON
  • tFileInputParquet 和 tFileOutputParquet
  • tFileInputXML 和 tFileOutputXML
  • tFixedFlowInput
  • tLogRow
  • tS3Configuration
重要: 由于只是技术预览,因此不适合生产环境。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

瞬态 Databricks 集群可用的新选项 现在,当您从 Spark 作业的 Spark configuration (Spark 配置) 视图创建临时 Databricks 集群时,可以对配置进行微调。以下属性现在可用:
  • Enable credentials passthrough (启用用户名和密码传递)
  • Spot with fall back to On-demand (点可按需回退)
  • Availability zone (可用性区域)
  • Max spot price (最高点价格)
  • EBS volume type (EBS 卷类型)
  • Custom tags (自定义标记)
  • Init scripts (Init 脚本)

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

从可用于 Spark 批处理作业中的 DynamoDB 组件的 AWS 角色选项继承用户名和密码 现在,以下 DynamoDB 组件支持使用新的 Inherit credentials from AWS role (从 AWS 角色继承用户名和密码) 选项,可以从 Amazon EC2 实例元数据获取 AWS 安全证书,新选项包括:
  • tDynamoDBInput
  • tDynamoDBOutput
  • tDynamoDBConfiguration

这样您就无需在 Talend Studio 中指定任何访问密钥或密钥。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Integration:新功能

功能

描述

产品

进一步增强库共享功能

Talend Studio 现在支持配置是否在启动时通过 Preferences (首选项) 对话框的 Talend > Artifact Repository (构件库) > Libraries (工具库) 视图中的 Share libraries to artifact repository at startup (在启动时将库共享到工件库) 复选框将组件库共享到本地库存储库。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

支持 Databricks Delta Lake 映射

以下组件为 Databricks Delta Lake 映射提供支持。

  • tELTInput、tELTOutput、tELTMap
  • tSQLTemplate、tSQLTemplateMerge、tSQLTemplateAggregate、tSQLTemplateCommit、tSQLTemplateRollback、tSQLTemplateFilterRow、tSQLTemplateFilterColumns

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

提供了更新和删除操作的新选项

Basic settings (基本设置) 视图中提供了 Use WHERE conditions table (使用 WHERE 条件表) 选项和 Where conditions table (Where 条件表) 字段。此更改提高了生产率。组件包括:

  • tELTGreenplumOutput、tELTMSSqlOutput、tELTMysqlOutput、tELTNetezzaOutput、tELTOracleOutput、tELTOutput、tELTPostgresqlOutput、tELTSybaseOutput、tELTTeradataOutput、tELTVerticaOutput

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tRedshiftBulkExec:支持新的文件类型

tRedshiftBulkExec 组件可以加载存储在 Apache Parquet 文件中的数据。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tFileOutputExcel:针对 Excel2007 文件提供的新选项

tFileOutputExcel 组件提供了 Truncate characters exceeding max cell length (截断超过最大单元格长度的字符) 选项,可以防止在写入 Excel2007 单元格的字符串超过允许的最大长度 (即 32767 个字符) 时发生错误。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tChangeFileEncoding:缓冲区大小可定制

tChangeFileEncoding 组件提供 Buffer Size (缓冲区大小) 字段,使您可以指定用于更改文件编码的缓冲区大小。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tSalesforceBulkExec 及 tSalesforceOutputBulkExec 新增了 Safety Switch 选项

现已为 tSalesforceBulkExec 和 tSalesforceOutputBulkExec 组件提供 Safety Switch (安全切换) 选项,以防止过度使用内存。如果数据库包含不超过 100000 个字符的列,则请勿使用此选项。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Mapper:新功能

功能

描述

产品

十进制元素的新选项 在 CSV、Flat、JSON、Map 和 XML 表示属性中,添加了两个新选项来处理十进制元素并解决与隐含小数有关的问题:
  • 如果将 Decimal Places (小数位数) 属性设置为 0,则您可以使用 Enforce zero scale on output decimals? (输出小数点强制零标度?) 选项删除小数位。
  • 使用 Decimal sign is implied on output (小数点暗含在输出中) 选项可以删除输出中的小数点。

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Quality:新功能

功能

描述

产品

在本地模式下支持 Spark 3.0 Spark 组件在本地模式下支持 Apache Spark 3.0,但 tMatchIndex、tMatchIndexPredict、tNLPModel、tNLPPredict 和 tNLPPreprocessing 除外。

Talend Big Data Platform

Talend Real-Time Big Data Platform