Talend 作业支持的 Cloud Big Data Platform 发行版
Cloud Hadoop 发行版
Talend 支持以下用于 Big Data 的云平台。单击您的云平台以查看 Big Data 支持信息。
- Amazon EMR （仅提供英文版本）
- Cloudera on AWS （仅提供英文版本）
- Cloudera on Azure （仅提供英文版本）
- Databricks on AWS （仅提供英文版本）
- Databricks on Azure （仅提供英文版本）
- Google Dataproc （仅提供英文版本）
- Microsoft HDInsight （仅提供英文版本）
- Quoble on AWS （仅提供英文版本）
受支持的旧版本 Big Data Platform 逐渐被其供应商停用。某个版本在达到其供应商设定的支持结束日期后，Talend 便会停止支持该版本。
Talend 及其社区为您提供了便捷功能，在 Talend 产品中持续使用其供应商已停止支持的版本。因此，该版本仍可列在以下表中并在产品中使用，但 Talend 会停止提供对此版本的支持。
Talend 支持下表中列出的平台版本的次要版本。
| Amazon EMR 版本 | 支持的框架 | Spark Batch 中支持的 Hadoop 元素 | Spark Streaming 中支持的 Hadoop 元素 |
Standard 中支持的 Hadoop 元素 |
|---|---|---|---|---|
| v4.5.0 (Hadoop 2.7.2) |
Standard Spark v1.6 (已弃用) |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| v4.6.0 (Hadoop 2.7.2) |
Standard Spark v1.6 (已弃用) |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| v5.0.0 (Hadoop 2.7.2) |
标准 Spark v2.0 (已弃用) |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| v5.5.0 (Hadoop 2.7.3) |
标准 Spark v2.1 (已弃用) |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| v5.8.0 (Hadoop 2.7.3) |
标准 Spark v2.2 (已弃用) |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| v5.15.0 (Hadoop 2.8.3) |
标准 Spark v2.3 (已弃用) |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| v5.29.0 (Hadoop 2.8.5) |
Standard Spark v2.4 |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| v6.2.0 (Hadoop 3.2.1) |
Standard Spark v3.0 |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
tAmazonEMRManage 组件支持的 Amazon EMR 版本为 4.5.0、4.6.0、4.9.2、5.11.0、5.15.0 和 5.29.0。
| Cloudera 版本 | 支持的框架 | Spark Batch 中支持的元素 | Spark Streaming 中支持的元素 |
Standard 中支持的元素 |
|---|---|---|---|---|
| CDH5.11 (已弃用) | Spark v2.1 (已弃用) | S3 Redshift DynamoDB |
S3 Kinesis Redshift DynamoDB |
| Cloudera 版本 | 支持的框架 | Spark Batch 中支持的元素 | Spark Streaming 中支持的元素 |
Standard 中支持的元素 |
|---|---|---|---|---|
| CDH5.11 (已弃用) | Spark v2.1 (已弃用) | ADLS Gen1 Azure Blob Storage HDFS |
ADLS Gen1 Azure Blob Storage HDFS |
| Databricks on AWS 版本 | 支持的框架 | Spark Batch 中支持的元素 | Spark Streaming 中支持的元素 |
Standard 中支持的元素 |
|---|---|---|---|---|
| 3.5 LTS (已弃用) | 标准 Spark v2.2 (已弃用) |
Hive S3 DynamoDB |
Hive S3 DynamoDB Kinesis |
DBFS |
| 5.5 LTS | Standard Spark v2.4 |
Hive S3 DynamoDB Snowflake MongoDB TDM 组件 (Beta 版) tDataprepRun |
Hive S3 DynamoDB Kinesis Snowflake MongoDB TDM 组件 (Beta 版) tDataprepRun |
DBFS |
| 6.4 | Standard Spark v2.4.5 |
Azure Blob Storage ADLS Gen2 Snowflake DeltaLake |
Azure Blob Storage ADLS Gen2 |
DBFS |
| 7.3 LTS | 标准 Spark v3.0.1 |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage |
DBFS |
| Databricks on Azure 版本 | 支持的框架 | Spark Batch 中支持的元素 | Spark Streaming 中支持的元素 |
Standard 中支持的元素 |
|---|---|---|---|---|
| 3.5 LTS (已弃用) | 标准 Spark v2.2 (已弃用) |
Hive Azure Blob Storage ADLS Gen1 |
Hive Azure Blob Storage ADLS Gen1 |
DBFS |
| 5.5 LTS | Standard Spark v2.4 |
Hive Azure Blob Storage ADLS Gen1 ADLS Gen2 Snowflake DeltaLake MongoDB TDM 组件 (Beta 版) tDataprepRun |
Hive Azure Blob Storage ADLS Gen1 ADLS Gen2 Snowflake DeltaLake MongoDB TDM 组件 (Beta 版) tDataprepRun |
DBFS |
| 6.4 | Standard Spark v2.4.5 |
Azure Blob Storage ADLS Gen2 Snowflake DeltaLake |
Azure Blob Storage ADLS Gen2 |
DBFS |
| 7.3 LTS | 标准 Spark v3.0.1 |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
DBFS |
| Google Dataproc 版本 | 支持的框架 | Spark Batch 中支持的元素 | Spark Streaming 中支持的元素 |
Standard 中支持的元素 |
|---|---|---|---|---|
| v1.1 (已弃用) | 标准 Spark v2.0 (已弃用) |
Hive BigQuery Google 存储 Avro 分隔符 Parquet 位置 XML JSON |
Hive BigQuery Google 存储 Avro 分隔符 Parquet 位置 XML JSON Google PubSub |
Hive |
| v1.4 (已弃用) | 标准 Spark v2.4 |
Hive BigQuery Google 存储 Avro 分隔符 Parquet 位置 XML JSON |
Hive BigQuery Google 存储 Avro 分隔符 Parquet 位置 XML JSON Google PubSub |
Hive |
| Microsoft HDInsight 版本 | 支持的框架 | Spark Batch 中支持的元素 | Spark Streaming 中支持的元素 |
Standard 中支持的元素 |
|---|---|---|---|---|
| 3.4 (已弃用) | Spark v1.6 (已弃用) | Hive | Hive | - |
| 3.6 (不推荐使用) | Spark v2.1 (已弃用) | Hive | Hive | - |
| 4.0 | Spark v2.3 (已弃用) and v2.4 | ADLS Gen2 Azure Blob Storage Hive |
ADLS Gen2 Azure Blob Storage Hive |
ADLS Gen2 Azure Blob Storage Hive |
| Qubole 版本 | 支持的框架 | Spark Batch 中支持的元素 | Spark Streaming 中支持的元素 |
Standard 中支持的元素 |
|---|---|---|---|---|
| Qubole Spark 2 (已弃用) | 标准 Spark v2.2 (已弃用) |
Redshift S3 DynamoDB |
Redshift S3 DynamoDB Kinesis |
S3 Hive |