Talend 作业支持的 Cloud Big Data Platform 发行版

Big Data

Big Data Platform

Data Fabric

Real-Time Big Data Platform

Cloud Hadoop 发行版

Talend 支持以下用于 Big Data 的云平台。单击您的云平台以查看 Big Data 支持信息。

受支持的旧版本 Big Data Platform 逐渐被其供应商停用。某个版本在达到其供应商设定的支持结束日期后，Talend 便会停止支持该版本。

Talend 及其社区为您提供了便捷功能，在 Talend 产品中持续使用其供应商已停止支持的版本。因此，该版本仍可列在以下表中并在产品中使用，但 Talend 会停止提供对此版本的支持。

Talend 支持下表中列出的平台版本的次要版本。

Amazon EMR
Amazon EMR 版本	支持的框架	Spark Batch 中支持的 Hadoop 元素	ⓘ 适用产品： Data Fabric Real-Time Big Data Platform Spark Streaming 中支持的 Hadoop 元素	Standard 中支持的 Hadoop 元素
v4.5.0 (Hadoop 2.7.2)	Standard Spark v1.6 (已弃用)	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive Sqoop
v4.6.0 (Hadoop 2.7.2)	Standard Spark v1.6 (已弃用)	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive Sqoop
v5.0.0 (Hadoop 2.7.2)	标准 Spark v2.0 (已弃用)	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive Sqoop
v5.5.0 (Hadoop 2.7.3)	标准 Spark v2.1 (已弃用)	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive Sqoop
v5.8.0 (Hadoop 2.7.3)	标准 Spark v2.2 (已弃用)	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive Sqoop
v5.15.0 (Hadoop 2.8.3)	标准 Spark v2.3 (已弃用)	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive Sqoop
v5.29.0 (Hadoop 2.8.5)	Standard Spark v2.4	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive Sqoop
v6.2.0 (Hadoop 3.2.1)	Standard Spark v3.0	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive Sqoop

tAmazonEMRManage 组件支持的 Amazon EMR 版本为 4.5.0、4.6.0、4.9.2、5.11.0、5.15.0 和 5.29.0。

Cloudera Altus on AWS for Big Data
Cloudera 版本	支持的框架	Spark Batch 中支持的元素	ⓘ 适用产品： Data Fabric Real-Time Big Data Platform Spark Streaming 中支持的元素	Standard 中支持的元素
CDH5.11 (已弃用)	Spark v2.1 (已弃用)	S3 Redshift DynamoDB	S3 Kinesis Redshift DynamoDB

Cloudera Altus on Azure for Big Data
Cloudera 版本	支持的框架	Spark Batch 中支持的元素	ⓘ 适用产品： Data Fabric Real-Time Big Data Platform Spark Streaming 中支持的元素	Standard 中支持的元素
CDH5.11 (已弃用)	Spark v2.1 (已弃用)	ADLS Gen1 Azure Blob Storage HDFS	ADLS Gen1 Azure Blob Storage HDFS

Databricks on AWS for Big Data
Databricks on AWS 版本	支持的框架	Spark Batch 中支持的元素	ⓘ 适用产品： Data Fabric Real-Time Big Data Platform Spark Streaming 中支持的元素	Standard 中支持的元素
3.5 LTS (已弃用)	标准 Spark v2.2 (已弃用)	Hive S3 DynamoDB	Hive S3 DynamoDB Kinesis	DBFS
5.5 LTS	Standard Spark v2.4	Hive S3 DynamoDB Snowflake MongoDB TDM 组件 (Beta 版) tDataprepRun	Hive S3 DynamoDB Kinesis Snowflake MongoDB TDM 组件 (Beta 版) tDataprepRun	DBFS
6.4	Standard Spark v2.4.5	Azure Blob Storage ADLS Gen2 Snowflake DeltaLake	Azure Blob Storage ADLS Gen2	DBFS
7.3 LTS	标准 Spark v3.0.1	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage	DBFS

Databricks on Azure for Big Data
Databricks on Azure 版本	支持的框架	Spark Batch 中支持的元素	ⓘ 适用产品： Data Fabric Real-Time Big Data Platform Spark Streaming 中支持的元素	Standard 中支持的元素
3.5 LTS (已弃用)	标准 Spark v2.2 (已弃用)	Hive Azure Blob Storage ADLS Gen1	Hive Azure Blob Storage ADLS Gen1	DBFS
5.5 LTS	Standard Spark v2.4	Hive Azure Blob Storage ADLS Gen1 ADLS Gen2 Snowflake DeltaLake MongoDB TDM 组件 (Beta 版) tDataprepRun	Hive Azure Blob Storage ADLS Gen1 ADLS Gen2 Snowflake DeltaLake MongoDB TDM 组件 (Beta 版) tDataprepRun	DBFS
6.4	Standard Spark v2.4.5	Azure Blob Storage ADLS Gen2 Snowflake DeltaLake	Azure Blob Storage ADLS Gen2	DBFS
7.3 LTS	标准 Spark v3.0.1	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	DBFS

Google Dataproc for Big Data
Google Dataproc 版本	支持的框架	Spark Batch 中支持的元素	ⓘ 适用产品： Data Fabric Real-Time Big Data Platform Spark Streaming 中支持的元素	Standard 中支持的元素
v1.1 (已弃用)	标准 Spark v2.0 (已弃用)	Hive BigQuery Google 存储 Avro 分隔符 Parquet 位置 XML JSON	Hive BigQuery Google 存储 Avro 分隔符 Parquet 位置 XML JSON Google PubSub	Hive
v1.4 (已弃用)	标准 Spark v2.4	Hive BigQuery Google 存储 Avro 分隔符 Parquet 位置 XML JSON	Hive BigQuery Google 存储 Avro 分隔符 Parquet 位置 XML JSON Google PubSub	Hive

Microsoft HDInsight for Big Data
Microsoft HDInsight 版本	支持的框架	Spark Batch 中支持的元素	ⓘ 适用产品： Data Fabric Real-Time Big Data Platform Spark Streaming 中支持的元素	Standard 中支持的元素
3.4 (已弃用)	Spark v1.6 (已弃用)	Hive	Hive	-
3.6 (不推荐使用)	Spark v2.1 (已弃用)	Hive	Hive	-
4.0	Spark v2.3 (已弃用) and v2.4	ADLS Gen2 Azure Blob Storage Hive	ADLS Gen2 Azure Blob Storage Hive	ADLS Gen2 Azure Blob Storage Hive

Qubole on AWS for Big Data
Qubole 版本	支持的框架	Spark Batch 中支持的元素	ⓘ 适用产品： Data Fabric Real-Time Big Data Platform Spark Streaming 中支持的元素	Standard 中支持的元素
Qubole Spark 2 (已弃用)	标准 Spark v2.2 (已弃用)	Redshift S3 DynamoDB	Redshift S3 DynamoDB Kinesis	S3 Hive