Talend 作业支持的 Cloud Big Data Platform 发行版 - 7.3

Talend Open Studio for Big Data 安装和升级指南,适用于: Linux

EnrichVersion
7.3
EnrichProdName
Talend Open Studio for Big Data
task
数据治理
EnrichPlatform
Talend Studio

Cloud Hadoop 发行版

Talend 支持以下用于 Big Data 的云平台。单击您的云平台以查看 Big Data 支持信息。

受支持的旧版本 Big Data Platform 逐渐被其供应商停用。某个版本在达到其供应商设定的支持结束日期后,Talend 便会停止支持该版本。

Talend 及其社区为您提供了便捷功能,在 Talend 产品中持续使用其供应商已停止支持的版本。因此,该版本仍可列在以下表中并在产品中使用,但 Talend 会停止提供对此版本的支持。

Talend 支持下表中列出的平台版本的次要版本。

Amazon EMR
Amazon EMR 版本 支持的框架 Spark Batch 中支持的 Hadoop 元素 Spark Streaming 中支持的 Hadoop 元素 Standard 中支持的 Hadoop 元素
v4.5.0 (Hadoop 2.7.2)

Standard

Spark v1.6 (已弃用)

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

Sqoop

v4.6.0 (Hadoop 2.7.2)

Standard

Spark v1.6 (已弃用)

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

Sqoop

v5.0.0 (Hadoop 2.7.2)

Standard

Spark v2.0

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

Sqoop

v5.5.0 (Hadoop 2.7.3)

Standard

Spark v2.1

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

Sqoop

v5.8.0 (Hadoop 2.7.3)

Standard

Spark v2.2

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

Sqoop

v5.15.0 (Hadoop 2.8.3)

Standard

Spark v2.3

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

Sqoop

v5.29.0 (Hadoop 2.8.5)

Standard

Spark v2.4

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

Sqoop

tAmazonEMRManage 组件支持的 Amazon EMR 版本为 4.5.0、4.6.0、4.9.2、5.11.0 和 5.15.0。

Cloudera Altus on AWS for Big Data
Cloudera 版本 支持的框架 Spark Batch 中支持的元素 Spark Streaming 中支持的元素 Standard 中支持的元素
CDH5.11 Spark v2.1 S3

Redshift

DynamoDB

S3

Kinesis

Redshift

DynamoDB

 
Cloudera Altus on Azure for Big Data
Cloudera 版本 支持的框架 Spark Batch 中支持的元素 Spark Streaming 中支持的元素 Standard 中支持的元素
CDH5.11 Spark v2.1 ADLS Gen1

Azure Blob Storage

HDFS

ADLS Gen1

Azure Blob Storage

HDFS

 
Databricks on AWS for Big Data
Databricks on AWS 版本 支持的框架 Spark Batch 中支持的元素 Spark Streaming 中支持的元素 Standard 中支持的元素
3.5 LTS Standard

Spark v2.2

Hive

S3

DynamoDB

Hive

S3

DynamoDB

Kinesis

DBFS
5.5 LTS Standard

Spark v2.4

Hive

S3

DynamoDB

Snowflake

MongoDB

作为技术预览的 TDM 组件

tDataprepRun

Hive

S3

DynamoDB

Kinesis

Snowflake

MongoDB

作为技术预览的 TDM 组件

tDataprepRun

DBFS
Databricks on Azure for Big Data
Databricks on Azure 版本 支持的框架 Spark Batch 中支持的元素 Spark Streaming 中支持的元素 Standard 中支持的元素
3.5 LTS Standard

Spark v2.2

Hive

Azure Blob Storage

ADLS Gen1

Hive

Azure Blob Storage

ADLS Gen1

DBFS
5.5 LTS Standard

Spark v2.4

Hive

Azure Blob Storage

ADLS Gen1

ADLS Gen2

Snowflake

DeltaLake

MongoDB

作为技术预览的 TDM 组件

tDataprepRun

Hive

Azure Blob Storage

ADLS Gen1

ADLS Gen2

Snowflake

DeltaLake

MongoDB

作为技术预览的 TDM 组件

tDataprepRun

DBFS
Google Dataproc for Big Data
Google Dataproc 版本 支持的框架 Spark Batch 中支持的元素 Spark Streaming 中支持的元素 Standard 中支持的元素
v1.1 Standard

Spark v2.0

Hive

BigQuery

Google 存储

Avro

分隔符

Parquet

位置

XML

JSON

Hive

BigQuery

Google 存储

Avro

分隔符

Parquet

位置

XML

JSON

Google PubSub

Hive
v1.4 Standard

Spark v2.4

Hive

BigQuery

Google 存储

Avro

分隔符

Parquet

位置

XML

JSON

Hive

BigQuery

Google 存储

Avro

分隔符

Parquet

位置

XML

JSON

Google PubSub

Hive
Microsoft HD Insight for Big Data
Microsoft HD Insight 版本 支持的框架 Spark Batch 中支持的元素 Spark Streaming 中支持的元素 Standard 中支持的元素
3.4 Spark v1.6 (已弃用) Hive Hive -
3.6 Spark v2.1 Hive Hive -
4.0 Spark v2.3 和 v2.4 ADLS Gen2

Azure Blob Storage

Hive

ADLS Gen2

Azure Blob Storage

Hive

ADLS Gen2

Azure Blob Storage

Hive

Qubole on AWS for Big Data
Qubole 版本 支持的框架 Spark Batch 中支持的元素 Spark Streaming 中支持的元素 Standard 中支持的元素
Qubole Spark 2 Standard

Spark v2.2

Redshift

S3

DynamoDB

Redshift

S3

DynamoDB

Kinesis

S3

Hive