Big Data:新功能
功能 |
描述 |
产品 |
---|---|---|
对于 Spark 作业,在本地模式下支持 Spark 3.0 | 在 Talend Studio 中运行作业时,Talend 现在在本地模式下支持 Spark 3.0。 注: 在本地模式下,以下元素不支持 Spark 3.0:
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
通过 Spark 3.0 组件支持 Databricks 7.3 LTS(技术预览) |
作为技术预览,您现在可以使用 Spark 3.0 在 AWS 和 Azure 上的 Databricks 7.3 LTS 发行版上运行 Spark Batch 和 Spark Streaming 作业,以用于交互式和临时集群。支持以下组件:
重要: 由于只是技术预览,因此不适合生产环境。
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
瞬态 Databricks 集群可用的新选项 | 现在,当您从 Spark 作业的 Spark configuration (Spark 配置) 视图创建临时 Databricks 集群时,可以对配置进行微调。以下属性现在可用:
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
从可用于 Spark 批处理作业中的 DynamoDB 组件的 AWS 角色选项继承用户名和密码 | 现在,以下 DynamoDB 组件支持使用新的 Inherit credentials from AWS role (从 AWS 角色继承用户名和密码) 选项,可以从 Amazon EC2 实例元数据获取 AWS 安全证书,新选项包括:
这样您就无需在 Talend Studio 中指定任何访问密钥或密钥。 |
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
Data Integration:新功能
功能 |
描述 |
产品 |
---|---|---|
进一步增强库共享功能 |
Talend Studio 现在支持配置是否在启动时通过 Preferences (首选项) 对话框的 视图中的 Share libraries to artifact repository at startup (在启动时将库共享到工件库) 复选框将组件库共享到本地库存储库。 |
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
支持 Databricks Delta Lake 映射 |
以下组件为 Databricks Delta Lake 映射提供支持。
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
提供了更新和删除操作的新选项 |
Basic settings (基本设置) 视图中提供了 Use WHERE conditions table (使用 WHERE 条件表) 选项和 Where conditions table (Where 条件表) 字段。此更改提高了生产率。组件包括:
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
tRedshiftBulkExec:支持新的文件类型 |
tRedshiftBulkExec 组件可以加载存储在 Apache Parquet 文件中的数据。
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
tFileOutputExcel:针对 Excel2007 文件提供的新选项 |
tFileOutputExcel 组件提供了 Truncate characters exceeding max cell length (截断超过最大单元格长度的字符) 选项,可以防止在写入 Excel2007 单元格的字符串超过允许的最大长度 (即 32767 个字符) 时发生错误。
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
tChangeFileEncoding:缓冲区大小可定制 |
tChangeFileEncoding 组件提供 Buffer Size (缓冲区大小) 字段,使您可以指定用于更改文件编码的缓冲区大小。
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
tSalesforceBulkExec 及 tSalesforceOutputBulkExec 新增了 Safety Switch 选项 |
现已为 tSalesforceBulkExec 和 tSalesforceOutputBulkExec 组件提供 Safety Switch (安全切换) 选项,以防止过度使用内存。如果数据库包含不超过 100000 个字符的列,则请勿使用此选项。
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
Data Mapper:新功能
功能 |
描述 |
产品 |
---|---|---|
十进制元素的新选项 | 在 CSV、Flat、JSON、Map 和 XML 表示属性中,添加了两个新选项来处理十进制元素并解决与隐含小数有关的问题:
|
Talend Big Data Platform Talend Real-Time Big Data Platform |
Data Quality:新功能
功能 |
描述 |
产品 |
---|---|---|
在本地模式下支持 Spark 3.0 | Spark 组件在本地模式下支持 Apache Spark 3.0,但 tMatchIndex、tMatchIndexPredict、tNLPModel、tNLPPredict 和 tNLPPreprocessing 除外。 |
Talend Big Data Platform Talend Real-Time Big Data Platform |