R2021-01 新增功能 - 7.3

Talend Big Data 产品发布说明
Version
7.3
Language
中文(简体)
Product
Talend Big Data
Talend Big Data Platform
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
Content
数据治理
版本说明

Big Data：新功能

功能

描述

产品
Assume role (获取临时角色) 配置，用于 Databricks 5.5 LTS 和 6.4 发行版

现在，在 Databricks 5.5 LTS 或 6.4 上运行作业时，如果想要从 S3 读写数据，可以使作业暂时获取临时角色以及与该角色关联的权限。

这样就无需在 tS3Configuration 组件中指定 Databricks 集群的密钥和访问密钥。现在，只需在 Spark configuration (Spark 配置) 视图中指定要获取角色的 Amazon 资源名称 (ARN) 并输入桶名称，然后在 tS3Configuration 组件的 Basic settings (基本设置) 视图中选中 Inherit credentials from AWS (从 AWS 角色继承用户名和密码) 复选框。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tS3Configuration 组件中的基本 Assume Role (获取临时角色) 配置 当您在 tS3Configuration 组件中启用了 Assume Role (获取临时角色) 选项时，您现在可以在 Basic settings (基本设置) 视图中配置以下属性，以微调您的配置：
  • Serial number (序列号)
  • Token code (令牌代码)
  • Tags (标记)
  • Transitive Tag Keys (传递标记键)
  • Policy ARNs (策略 ARN)
  • Policy (策略)

此功能现适用于 CDP Private Cloud Base 7.1 发行版。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Kafka 组件中可用的主题、分区和密钥选项 现在可以在 tKafkaInput 组件中添加用于消息的密钥和分区的相关信息。得益于以下新属性，tKafkaInput 组件将在其输出 schema 中读取这些信息：topic (主题)、partition (分区) 和 key (密钥)。

通过此功能可以从主题中检索并在 Kafka 消息中显示更多信息。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Spark Streaming 作业中可用的 tKafkaCommit 现在，在 Spark v2.0 及以上版本中，可以在 Spark 本地模式下在 Spark Streaming 作业中使用 tKafkaCommit 组件。使用此组件可以手动控制何时提交偏移。这样就能够一次性提交，而不必在给定的时间间隔内自动提交。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

已弃用发行版 以下发行版现已弃用：
  • HDP 2.6.0 及以下版本
  • Cloudera CDH 5.13 及以下版本
  • MapR 5.2.0 及以下版本
  • Microsoft HD Insight 3.4 及以下版本
  • Databricks 3.5 LTS 及以下版本
  • Cloudera Altus 1.0
  • Dataproc 1.1

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Integration：新功能

功能

描述

产品
Talend Studio 的共享模式 Talend Studio 现在支持共享模式，允许安装了 Talend Studio 的机器上的每个用户可以使用不同的配置和工作区文件夹。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

库共享增强功能

Talend Studio 现在支持：

  • 配置是否在启动时将库共享到本地库存储库
  • 启动后手动共享库

默认情况下，在 Talend Studio 启动时不共享库，以提高启动性能。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

SAP 功能提取路径可定制

可以指定 SAP 功能路径以生成包含所提取数据的文件。应用的组件：

  • tELTSAPMap
  • tSAPDSOInput (在 Basic settings (基本设置) 视图中选中了 Use FTP-Batch Options (使用 FTP 批处理选项))
  • tSAPODPInput (在 Basic settings (基本设置) 视图中选中了 Use FTP-Batch Options (使用 FTP 批处理选项))
  • tSAPInfoCubeInput (在 Basic settings (基本设置) 视图中选中了 Use FTP-Batch Options (使用 FTP 批处理选项))

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tGPGDecrypt: 为 GPG 解密命令指定附加参数

提供了 Use extra paramaters (使用额外参数) 选项，允许为 GPG 解密命令指定附加参数。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

支持 Greenplum 6.x

此版本支持 Greenplum 6.x。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Greenplum 组件：默认数据库驱动程序已更改

对于 Greenplum 组件，数据库驱动程序默认为 Greenplum。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

tGreenplumGPLoad 已改进

tGreenplumGPLoad 增加了多个新功能/选项。如下所列。

  • Basic settings (基本设置) 视图中的 Populate column list based on the schema (根据 schema 填充列列表 ) 选项，将 schema 中定义的列添加到 YAML 文件。
  • Addition options (附加选项) 表中提供的新参数：LOG_ERRORS、MAX_LINE_LENGTH、EXTERNAL_SCHEMA (_ext_stg_objects)、PRELOAD_TRUNCATE、PRELOAD_REUSE_TABLES、PRELOAD_STAGING_TABLE、PRELOAD_FAST_MATCH , SQL_BEFORE LOAD 和 SQL_AFTER LOAD。
  • Advanced settings (高级设置) 视图中的 Remove datafile on successful execution (成功执行时删除数据文件) 选项和 Gzip compress the datafile (Gzip 压缩数据文件) 选项，将在加载操作成功完成后删除数据文件，并使用 Gzip 压缩数据文件。
  • 提供了新的全局变量：NB_LINE_INSERTED、NB_LINE_UPDATED、NB_DATA_ERRORS、GPLOAD_STATUS 和 GPLOAD_RUNTIME。

Talend Big Data

Talend Big Data Platform

Talend Real-Time Big Data Platform

Data Quality：新功能

功能

描述

产品
共享模式 Talend Studio 现在支持共享模式。启用后，部分路径将更改：
  • 对于 tBRMS，到 Drools 文件夹的路径为 C:/Users/user-account/studio-path/Drools/
  • 对于 tDqReportRun，到 Generated reports 文件夹的路径为 C:/Users/user-account/studio-path/Generated reports/
  • 对于同义词索引，到 addons 文件夹的路径为 C:/Users/user-account/studio-path/addons/

Talend Big Data Platform

Talend Real-Time Big Data Platform

支持的数据库 在表、视图和计算视图 schema 的 Profiling 透视图中，现在支持 SAP Hana。

Talend Big Data Platform

Talend Real-Time Big Data Platform

新组件

tSAPHanaValidRows 及 tSAPHanaInvalidRows 组件检查 SAP Hana 数据库数据行是否满足特定数据质量模型 (正则表达式) 或数据质量规则 (商务规则)。

Talend Big Data Platform

Talend Real-Time Big Data Platform

tDataMasking

tDataUnmasking

 标准组件现在支持 Dynamic (动态) 数据类型。

Talend Big Data Platform

Talend Real-Time Big Data Platform