Big Data:新功能
功能 |
描述 |
产品 |
---|---|---|
Assume role (获取临时角色) 配置,用于 Databricks 5.5 LTS 和 6.4 发行版 |
现在,在 Databricks 5.5 LTS 或 6.4 上运行作业时,如果想要从 S3 读写数据,可以使作业暂时获取临时角色以及与该角色关联的权限。 这样就无需在 tS3Configuration 组件中指定 Databricks 集群的密钥和访问密钥。现在,只需在 Spark configuration (Spark 配置) 视图中指定要获取角色的 Amazon 资源名称 (ARN) 并输入桶名称,然后在 tS3Configuration 组件的 Basic settings (基本设置) 视图中选中 Inherit credentials from AWS (从 AWS 角色继承用户名和密码) 复选框。 |
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
tS3Configuration 组件中的基本 Assume Role (获取临时角色) 配置 | 当您在 tS3Configuration 组件中启用了 Assume Role (获取临时角色) 选项时,您现在可以在 Basic settings (基本设置) 视图中配置以下属性,以微调您的配置:
此功能现适用于 CDP Private Cloud Base 7.1 发行版。 |
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
Kafka 组件中可用的主题、分区和密钥选项 | 现在可以在 tKafkaInput 组件中添加用于消息的密钥和分区的相关信息。得益于以下新属性,tKafkaInput 组件将在其输出 schema 中读取这些信息:topic (主题) 、partition (分区) 和 key (密钥) 。通过此功能可以从主题中检索并在 Kafka 消息中显示更多信息。 |
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
Spark Streaming 作业中可用的 tKafkaCommit | 现在,在 Spark v2.0 及以上版本中,可以在 Spark 本地模式下在 Spark Streaming 作业中使用 tKafkaCommit 组件。使用此组件可以手动控制何时提交偏移。这样就能够一次性提交,而不必在给定的时间间隔内自动提交。 |
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
已弃用发行版 | 以下发行版现已弃用:
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
Data Integration:新功能
功能 |
描述 |
产品 |
---|---|---|
Talend Studio 的共享模式 | Talend Studio 现在支持共享模式,允许安装了 Talend Studio 的机器上的每个用户可以使用不同的配置和工作区文件夹。 |
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
库共享增强功能 |
Talend Studio 现在支持:
默认情况下,在 Talend Studio 启动时不共享库,以提高启动性能。 |
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
SAP 功能提取路径可定制 |
可以指定 SAP 功能路径以生成包含所提取数据的文件。应用的组件:
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
tGPGDecrypt: 为 GPG 解密命令指定附加参数 |
提供了 Use extra paramaters (使用额外参数) 选项,允许为 GPG 解密命令指定附加参数。 |
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
支持 Greenplum 6.x |
此版本支持 Greenplum 6.x。 |
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
Greenplum 组件:默认数据库驱动程序已更改 |
对于 Greenplum 组件,数据库驱动程序默认为 Greenplum。 |
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
tGreenplumGPLoad 已改进 |
tGreenplumGPLoad 增加了多个新功能/选项。如下所列。
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
Data Quality:新功能
功能 |
描述 |
产品 |
---|---|---|
共享模式 | Talend Studio 现在支持共享模式。启用后,部分路径将更改:
|
Talend Big Data Platform Talend Real-Time Big Data Platform |
支持的数据库 | 在表、视图和计算视图 schema 的 Profiling 透视图中,现在支持 SAP Hana。 |
Talend Big Data Platform Talend Real-Time Big Data Platform |
新组件 |
tSAPHanaValidRows 及 tSAPHanaInvalidRows 组件检查 SAP Hana 数据库数据行是否满足特定数据质量模型 (正则表达式) 或数据质量规则 (商务规则)。 |
Talend Big Data Platform Talend Real-Time Big Data Platform |
tDataMasking tDataUnmasking |
标准组件现在支持 Dynamic (动态) 数据类型。 |
Talend Big Data Platform Talend Real-Time Big Data Platform |