Cloud Hadoopディストリビューション
Talendがビッグデータでサポートしているクラウドプラットフォームは以下のとおりです。ビッグデータのサポート情報を確認する場合は、クラウドプラットフォームをクリックしてください。
- Google Dataproc
- Azure版Databricks
- AWS版Databricks
- AWS版Quoble
- Azure版Cloudera
- AWS版Cloudera
- Microsoft HD Insight
| Google Dataprocのバージョン | サポートされているフレームワーク | Spark Batchでサポートされているエレメント | Spark Streamingでサポートされているエレメント | Standardでサポートされているエレメント |
|---|---|---|---|---|
| v1.1 | Standard Talend MapReduce Spark v2.0 |
Hive BigQuery Google Storage Avro Delimited Parquet Postional XML JSON |
Hive BigQuery Google Storage Avro Delimited Parquet Postional XML JSON Google PubSub |
Hive |
| Azure版Databricksのバージョン | サポートされているフレームワーク | Spark Batchでサポートされているエレメント | Spark Streamingでサポートされているエレメント | Standardでサポートされているエレメント |
|---|---|---|---|---|
| 3.5 LTS | Standard Spark v2.2 |
Hive Azure Blob Storage ADLS Gen1 |
Hive Azure Blob Storage ADLS Gen1 |
DBFS |
| AWS版Databricksのバージョン | サポートされているフレームワーク | Spark Batchでサポートされているエレメント | Spark Streamingでサポートされているエレメント | Standardでサポートされているエレメント |
|---|---|---|---|---|
| 3.5 LTS | Standard Spark v2.4 |
Hive S3 DynamoDB |
Hive S3 DynamoDB Kinesis |
DBFS |
| Quboleのバージョン | サポートされているフレームワーク | Spark Batchでサポートされているエレメント | Spark Streamingでサポートされているエレメント | Standardでサポートされているエレメント |
|---|---|---|---|---|
| Qubole Spark 2 | Standard Spark v2.2 |
Redshift S3 DynamoDB |
Redshift S3 DynamoDB Kinesis |
S3 Hive |
| Clouderaのバージョン | サポートされているフレームワーク | Spark Batchでサポートされているエレメント | Spark Streamingでサポートされているエレメント | Standardでサポートされているエレメント |
|---|---|---|---|---|
| CDH5.11 | Spark v2.1 | ADLS Gen1 Azure Blob Storage HDFS |
ADLS Gen1 Azure Blob Storage HDFS |
| Clouderaのバージョン | サポートされているフレームワーク | Spark Batchでサポートされているエレメント | Spark Streamingでサポートされているエレメント | Standardでサポートされているエレメント |
|---|---|---|---|---|
| CDH5.11 | Spark v2.1 | S3 Redshift DynamoDB |
S3 Kinesis Redshift DynamoDB |
| Microsoft HD Insightのバージョン | サポートされているフレームワーク | Spark Batchでサポートされているエレメント | Spark Streamingでサポートされているエレメント | Standardでサポートされているエレメント |
|---|---|---|---|---|
| 3.4 | Talend MapReduce Spark v1.6 |
Hive | Hive | |
| 3.6 | Talend MapReduce Spark v2.1 |
Hive | Hive |