Big Data
Big Data Platform
Data Fabric
Real-Time Big Data Platform
Cloud Hadoop 发行版
Talend 支持以下用于 Big Data 的云平台。单击您的云平台以查看 Big Data 支持信息。
- Amazon EMR
- Databricks on AWS
- Databricks on Azure
- 基于 Google 云平台 (GCP) 的 Databricks
- Google Dataproc
- Microsoft HDInsight
受支持的旧版本 Big Data Platform 逐渐被其供应商停用。某个版本在达到其供应商设定的支持结束日期后，Talend 便会停止支持该版本。
Talend 及其社区为您提供了便捷功能，在 Talend 产品中持续使用其供应商已停止支持的版本。因此，该版本仍可列在以下表中并在产品中使用，但 Talend 会停止提供对此版本的支持。
Talend 支持下表中列出的平台版本的次要版本。
| Amazon EMR 版本 | 支持的框架 | Spark Batch 中支持的 Hadoop 元素 | ⓘ 适用产品： Data Fabric Real-Time Big Data Platform |
Standard 中支持的 Hadoop 元素 |
|---|---|---|---|---|
| v5.29.0 (Hadoop 2.8.5) |
Standard Spark v2.4 |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| v6.2.0 (Hadoop 3.2.1) |
Standard Spark v3.0 |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| v6.3.x (Hadoop 3.2.3) | Spark Universal v3.1.x |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
- |
| v6.4.x (Hadoop 3.2.3) | Spark Universal v3.1.x |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
- |
| v6.5.x (Hadoop 3.2.3) | Spark Universal v3.1.x |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
- |
| v6.6.0 (Hadoop 3.2.3) | Spark Universal v.3.2.x |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
- |
| v6.7.0 (Hadoop 3.2.3) | Spark Universal v.3.2.x |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
- |
tAmazonEMRManage 组件支持的 Amazon EMR 版本为 5.29.0。
| Databricks on AWS 版本 | 支持的框架 | Spark Batch 中支持的元素 | ⓘ 适用产品： Data Fabric Real-Time Big Data Platform |
Standard 中支持的元素 |
|---|---|---|---|---|
| 5.5 LTS | Standard Spark v2.4 |
Hive S3 DynamoDB Snowflake MongoDB TDM 组件 tDataprepRun |
Hive S3 DynamoDB Kinesis Snowflake MongoDB TDM 组件 (Beta 版) tDataprepRun |
DBFS |
| 6.4 | Standard Spark v2.4.5 |
Azure Blob Storage ADLS Gen2 Snowflake DeltaLake |
Azure Blob Storage ADLS Gen2 |
DBFS |
| 7.3 LTS | 标准 Spark v3.0.1 |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage |
DBFS |
| 8.x | Spark Universal v3.1.x | Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage |
- |
| 9.x | Spark Universal v3.1.x | Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage |
- |
| 10.x |
Spark Universal v3.2.x |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage |
- |
| 11.x |
Spark Universal v3.3.x |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage |
- |
| Databricks on Azure 版本 | 支持的框架 | Spark Batch 中支持的元素 | ⓘ 适用产品： Data Fabric Real-Time Big Data Platform |
Standard 中支持的元素 |
|---|---|---|---|---|
| 5.5 LTS | Standard Spark v2.4 |
Hive Azure Blob Storage ADLS Gen1 ADLS Gen2 Snowflake DeltaLake MongoDB TDM 组件 tDataprepRun |
Hive Azure Blob Storage ADLS Gen1 ADLS Gen2 Snowflake DeltaLake MongoDB TDM 组件 tDataprepRun |
DBFS |
| 6.4 | Standard Spark v2.4.5 |
Azure Blob Storage ADLS Gen2 Snowflake DeltaLake |
Azure Blob Storage ADLS Gen2 |
DBFS |
| 7.3 LTS | 标准 Spark v3.0.1 |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
DBFS |
| 8.x | Spark Universal v3.1.x | Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
- |
| 9.x | Spark Universal v3.1.x | Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
- |
| 10.x |
Spark Universal v3.2.x |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
- |
| 11.x |
Spark Universal v3.3.x |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
- |
| 基于 GCP 的 Databricks 版本 | 支持的框架 | Spark Batch 中支持的元素 | ⓘ 适用产品： Data Fabric Real-Time Big Data Platform |
Standard 中支持的元素 |
|---|---|---|---|---|
| 8.x | Spark Universal v3.1.x | Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
- |
| 9.x | Spark Universal v3.1.x | Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
- |
| 10.x |
Spark Universal v3.2.x |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
- |
| 11.x |
Spark Universal v3.3.x |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
- |
| Google Dataproc 版本 | 支持的框架 | Spark Batch 中支持的元素 | ⓘ 适用产品： Data Fabric Real-Time Big Data Platform |
Standard 中支持的元素 |
|---|---|---|---|---|
| 2.0.x |
标准 Spark Universal v3.1.x |
Hive BigQuery Google 存储 Avro 分隔符 Parquet 位置 XML JSON |
Hive BigQuery Google 存储 Avro 分隔符 Parquet 位置 XML JSON Google PubSub |
Hive |
| Microsoft HD Insight 版本 | 支持的框架 | Spark Batch 中支持的元素 | ⓘ 适用产品： Data Fabric Real-Time Big Data Platform |
Standard 中支持的元素 |
|---|---|---|---|---|
| 4.0 | Spark v2.4 | ADLS Gen2 Azure Blob Storage Hive |
ADLS Gen2 Azure Blob Storage Hive |
ADLS Gen2 Azure Blob Storage Hive |