R2020-06 新增功能 - 7.3

Talend Data Fabric 发布说明

Version
7.3
Language
中文(简体)
Product
Talend Data Fabric
Content
数据治理
版本说明

Big Data:新功能

功能

描述

支持 Cloudera Data Platform (CDP) 在您配置与 Hadoop 集群的连接时,可以选择 Cloudera CDP 7.1。您还可以添加和使用 CDP Private Cloud Base 7.x 的动态发行版。

Talend Studio 中的 CDP 集成包括一个新的依赖关系管理系统,可以提高作业在运行时的性能。

CDP 支持以下元素:
  • Data Integration 组件:
    • HBase
    • HDFS
    • Hive
  • Spark Batch 组件:
    • Azure Blob Storage
    • HBase
    • HDFS
    • Hive
    • Kudu
  • Spark Streaming 组件
    • Azure Blob Storage
    • HBase
    • HDFS
    • Hive
    • Kafka
支持 Microsoft HD Insight 4.0 您可以在使用 Spark v2.3 和 v2.4 的标准作业和 Spark 作业中使用 Microsoft HD Insight 4.0 发行版。新增的这项支持具有以下几个功能:
  • 支持 Azure Data Lake Storage (ADLS) Gen2:此存储选项在使用 Hive 或 HDFS 时可用,可配置与 tAzureFSConfiguration 的连接。您在元数据中配置与 HD Insight 的集中连接时,也可以使用 ADLS Gen2 作为主存储。
  • 支持 TLS 以安全连接到 ADLS Gen2 和 Azure Blob Storage。
检查 HD Insight 上运行的作业的状态 要检查作业是否仍在运行,可配置检索此作业状态的轮询。在 Job status polling configuration (作业状态轮询配置) 部分,从作业的 Run (运行) 视图中的 Spark Configuration (Spark 配置) 选项卡上,指定轮询之间的时间间隔以及最大重试次数。
使用 Databricks 池 您可以使用池减少 Databricks 集群的开始自动缩放次数。在作业的 Run (运行) 视图中的 Spark Configuration (Spark 配置) 选项卡上,选择 Use pool (使用池) 复选框并指示您要使用的池的 ID。您还必须选中 Use transient cluster (使用临时集群) 复选框。有关 Databricks 池的更多信息,请参阅 Databricks 文档中的

Azure ADLS Gen2 组件:支持 Azure Active Directory 身份验证

以下 Azure ADLS Gen2 组件支持 Azure Active Directory 身份验证 (AD 身份验证)。

  • tAzureAdlsGen2Input
  • tAzureAdlsGen2Output

Data Integration:新功能

功能

描述

进一步增强上下文传播 通过在合并分支时改善 Git/SVN 技术文件的冲突解决,进一步增强了对引用工程的上下文传播。
Microsoft SQL Server 元数据向导更新 Talend Studio 元数据向导中的 Microsoft SQL Server 默认数据库版本更改为 Microsoft
Stitch 连接器集成 您可以在 Talend Studio 中的设计工作区或调色板中搜索 Stitch 连接器。搜索结果会将您带到有关您选择的连接器的 Stitch Web 页面。

tDataprepRun 增强

tDataprepRun 组件现在支持动态模式特性。

提供了新组件

本发布提供以下两个新组件。

  • tCosmosDBSQLAPIInput,它通过 SQL API 检索 Cosmos 数据库集合中的数据。
  • tCosmosDBSQLAPIOutput,它通过 SQL API 根据来自之前组件的传入流插入、更新、更新插入或删除 Cosmos 数据库集合中的文档。

Snowflake 组件:提供外部 OAuth 支持

以下 Snowflake 组件支持外部 OAuth 进行数据访问。

  • tSnowflakeBulkExec
  • tSnowflakeConnection
  • tSnowflakeInput
  • tSnowflakeOutput
  • tSnowflakeOutputBulk
  • tSnowflakeOutputBulkExec
  • tSnowflakeRow

MS SQL Server 连接器:默认 JDBC 提供程序更改为 Microsoft 官方驱动程序

以下组件的默认 JDBC 提供程序更改为 Microsoft 官方驱动程序。

  • tCreateTable
  • tELTMSSqlMap
  • tMSSqlBulkExec、tMSSqlConnection、tMSSqlInput、tMSSqlOutput、tMSSqlOutputBulkExec、tMSSqlRow、tMSSqlSCD、tMSSqlSP、tMSSqlCDC、tMSSqlInvalidRows、tMSSqlValidRows

tJDBCInput:提供了新选项以防止动态列中的意外字符转换

tJDBCInput 组件提供 Allow special character in dynamic table name (动态表名称中允许特殊字符),从而按原样保留输入表列名称中的特殊字符。