Cloud Big Data
Cloud Big Data Platform
Cloud Data Fabric
Cloud-basierte Hadoop-Distributionen
Talend unterstützt die folgenden Cloud-Plattformen für Big Data. Klicken Sie auf Ihre Cloud-Plattform, um Informationen zur Big Data-Unterstützung anzuzeigen.
- Amazon EMR
- Databricks in AWS
- Databricks in Azure
- Databricks in Google Cloud Platform (GCP)
- Google Dataproc
- Microsoft HDInsight
Ältere Versionen der unterstützten Big Data-Plattformen werden vom jeweiligen Anbieter außer Betrieb genommen. Talend beendet den Support für eine Version, sobald diese das vom Anbieter festgelegte Datum des Supportendes erreicht hat.
Talend und die Talend-Community bieten Ihnen die Möglichkeit, Versionen, für die der Anbieter den Support eingestellt hat, weiterhin in Talend-Produkten zu verwenden. Aus diesem Grund werden die betreffenden Versionen u. U. nach wie vor in den folgenden Tabellen aufgeführt und stehen in den Produkten zur Verfügung. Allerdings bietet Talend keinen Support mehr für diese Versionen.
Talend unterstützt die Nebenversionen der in den folgenden Tabellen enthaltenen Plattformversionen.
| Amazon EMR-Version | Unterstützte Frameworks | Unterstützte Hadoop-Elemente in Spark Batch | Unterstützte Hadoop-Elemente in Spark Streaming | Unterstützte Hadoop-Elemente in Standard |
|---|---|---|---|---|
| v5.29.0 (Hadoop 2.8.5) |
Standard Spark v2.4 |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| v6.2.0 (Hadoop 3.2.1) |
Standard Spark v3.0 |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| v6.3.x (Hadoop 3.2.3) | Spark Universal v3.1.x |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
- |
| v6.4.x (Hadoop 3.2.3) | Spark Universal v3.1.x |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
- |
| v6.5.x (Hadoop 3.2.3) | Spark Universal v3.1.x |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
- |
| v6.6.0 (Hadoop 3.2.3) | Spark Universal v.3.2.x |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
- |
| v6.7.0 (Hadoop 3.2.3) | Spark Universal v.3.2.x |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
- |
Für die Komponente tAmazonEMRManage werden die Amazon EMR-Version 5.29.0 unterstützt.
| Databricks in AWS - Version | Unterstützte Frameworks | Unterstützte Elemente in Spark Batch | Unterstützte Elemente in Spark Streaming | Unterstützte Elemente in Standard |
|---|---|---|---|---|
| 5.5 LTS | Standard Spark v2.4 |
Hive S3 DynamoDB Snowflake MongoDB TDM-Komponenten tDataprepRun |
Hive S3 DynamoDB Kinesis Snowflake MongoDB TDM-Komponenten als Betaversion tDataprepRun |
DBFS |
| 6.4 | Standard Spark v2.4.5 |
Azure Blob Storage ADLS Gen2 Snowflake DeltaLake |
Azure Blob Storage ADLS Gen2 |
DBFS |
| 7.3 LTS | Standard Spark v3.0.1 |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage |
DBFS |
| 8.x | Spark Universal v3.1.x | Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage |
- |
| 9.x | Spark Universal v3.1.x | Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage |
- |
| 10.x |
Spark Universal v3.2.x |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage |
- |
| 11.x |
Spark Universal v3.3.x |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage |
- |
| Databricks in Azure - Version | Unterstützte Frameworks | Unterstützte Elemente in Spark Batch | Unterstützte Elemente in Spark Streaming | Unterstützte Elemente in Standard |
|---|---|---|---|---|
| 5.5 LTS | Standard Spark v2.4 |
Hive Azure Blob Storage ADLS Gen1 ADLS Gen2 Snowflake DeltaLake MongoDB TDM-Komponenten tDataprepRun |
Hive Azure Blob Storage ADLS Gen1 ADLS Gen2 Snowflake DeltaLake MongoDB TDM-Komponenten tDataprepRun |
DBFS |
| 6.4 | Standard Spark v2.4.5 |
Azure Blob Storage ADLS Gen2 Snowflake DeltaLake |
Azure Blob Storage ADLS Gen2 |
DBFS |
| 7.3 LTS | Standard Spark v3.0.1 |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
DBFS |
| 8.x | Spark Universal v3.1.x | Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
- |
| 9.x | Spark Universal v3.1.x | Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
- |
| 10.x |
Spark Universal v3.2.x |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
- |
| 11.x |
Spark Universal v3.3.x |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
- |
| Databricks in GCP - Version | Unterstützte Frameworks | Unterstützte Elemente in Spark Batch | ⓘ Vorhanden in: Data Fabric Real-Time Big Data Platform |
Unterstützte Elemente in Standard |
|---|---|---|---|---|
| 8.x | Spark Universal v3.1.x | Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
- |
| 9.x | Spark Universal v3.1.x | Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
- |
| 10.x |
Spark Universal v3.2.x |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
- |
| 11.x |
Spark Universal v3.3.x |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
- |
| Google Dataproc - Version | Unterstützte Frameworks | Unterstützte Elemente in Spark Batch | ⓘ Vorhanden in: Data Fabric Real-Time Big Data Platform |
Unterstützte Elemente in Standard |
|---|---|---|---|---|
| 2.0.x |
Standard Spark Universal v3.1.x |
Hive BigQuery Google Storage Avro Delimited Parquet Positional XML JSON |
Hive BigQuery Google Storage Avro Delimited Parquet Positional XML JSON Google PubSub |
Hive |
| Microsoft HD Insight - Version | Unterstützte Frameworks | Unterstützte Elemente in Spark Batch | Unterstützte Elemente in Spark Streaming | Unterstützte Elemente in Standard |
|---|---|---|---|---|
| 4.0 | Spark v2.3 (veraltet) und v2.4 | ADLS Gen2 Azure Blob Storage Hive |
ADLS Gen2 Azure Blob Storage Hive |
ADLS Gen2 Azure Blob Storage Hive |