Talendジョブでサポートされているクラウドビッグデータプラットフォームディストリビューションのバージョン

Cloud Hadoopディストリビューション

Talendがビッグデータでサポートしているクラウドプラットフォームは以下のとおりです。ビッグデータのサポート情報を確認する場合は、クラウドプラットフォームをクリックしてください。

サポート対象のBig Dataプラットフォームのうち、古くなった各バージョンはベンダーによってサポートから外されます。Talendは、ベンダーが設定したサポート終了日を過ぎたバージョンのサポートを中止します。

ベンダーがTalend製品でのサポートを中止するバージョンを引き続き使用できるよう、Talendとそのコミュニティによって便利なツールが提供されます。この理由から、該当するバージョンも次のテーブルに引き続き記載されており、製品でも利用可能ですが、Talendはそのようなバージョンに対するサポートの提供を中止しています。

Talendは、次のテーブルにあるプラットフォームバージョンのマイナーバージョンをサポートしています。

Amazon EMR
Amazon EMRのバージョン	サポートされているフレームワーク	Spark BatchでサポートされているHadoopエレメント	Spark StreamingでサポートされているHadoopエレメント	StandardでサポートされているHadoopエレメント
v5.29.0 (Hadoop 2.8.5)	標準 Spark v2.4	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive Sqoop
v6.2.0 (Hadoop 3.2.1)	標準 Spark v3.0	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive Sqoop
v6.3.x (Hadoop 3.2.3)	Spark Universal v3.1.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	なし
v6.4.x (Hadoop 3.2.3)	Spark Universal v3.1.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	なし
v6.5.x (Hadoop 3.2.3)	Spark Universal v3.1.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	なし
v6.6.0 (Hadoop 3.2.3)	Spark Universal v3.2.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	なし
v6.7.0 (Hadoop 3.2.3)	Spark Universal v3.2.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	なし
v6.8.0 (Hadoop 3.3.1)	Spark Universal v3.3.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	なし
v6.9.0 (Hadoop 3.3.1)	Spark Universal v3.3.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	なし
v6.10.0 (Hadoop 3.3.1)	Spark Universal v3.3.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	なし

tAmazonEMRManageコンポーネントでサポートされているAmazon EMRのバージョンは5.29.0です。

AWS版Databricks (ビッグデータ用)
AWS版Databricksのバージョン	サポートされているフレームワーク	Spark Batchでサポートされているエレメント	Spark Streamingでサポートされているエレメント	標準でサポートされているエレメント
5.5 LTS	標準 Spark v2.4	Hive S3 DynamoDB Snowflake MongoDB TDMのコンポーネント tDataprepRun	Hive S3 DynamoDB Kinesis Snowflake MongoDB ベータ版TDMコンポーネント tDataprepRun	DBFS
6.4	標準 Spark v2.4.5	Azure Blob Storage ADLS Gen2 Snowflake DeltaLake	Azure Blob Storage ADLS Gen2	DBFS
7.3 LTS	標準 Spark v3.0.1	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage	DBFS
8.x	Spark Universal v3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage	なし
9.x	Spark Universal v3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage	なし
10.x	Spark Universal v3.2.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage	なし
11.x	Spark Universal v3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage	なし
12.x	Spark Universal v3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage	なし

Azure版Databricks (ビッグデータ用)
Azure版Databricksのバージョン	サポートされているフレームワーク	Spark Batchでサポートされているエレメント	Spark Streamingでサポートされているエレメント	標準でサポートされているエレメント
5.5 LTS	標準 Spark v2.4	Hive Azure Blob Storage ADLS Gen1 ADLS Gen2 Snowflake DeltaLake MongoDB TDMのコンポーネント tDataprepRun	Hive Azure Blob Storage ADLS Gen1 ADLS Gen2 Snowflake DeltaLake MongoDB TDMのコンポーネント tDataprepRun	DBFS
6.4	標準 Spark v2.4.5	Azure Blob Storage ADLS Gen2 Snowflake DeltaLake	Azure Blob Storage ADLS Gen2	DBFS
7.3 LTS	標準 Spark v3.0.1	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	DBFS
8.x	Spark Universal v3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	なし
9.x	Spark Universal v3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	なし
10.x	Spark Universal v3.2.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	なし
11.x	Spark Universal v3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	なし
12.x	Spark Universal v3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage	なし

BIg Data用のGoogle Cloud Platform (GCP)でのDatabricks
GCPバージョンでのDatabricks	サポートされているフレームワーク	Spark Batchでサポートされているエレメント	Spark Streamingでサポートされているエレメント	標準でサポートされているエレメント
8.x	Spark Universal v3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	-
9.x	Spark Universal v3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	-
10.x	Spark Universal v3.2.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	-
11.x	Spark Universal v3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	-
12.x	Spark Universal v3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage	-

Google Dataproc
Google Dataprocのバージョン	サポートされているフレームワーク	Spark Batchでサポートされているエレメント	Spark Streamingでサポートされているエレメント	標準でサポートされているエレメント
2.0.x	Standard Spark Universal v3.1.x	Hive BigQuery Google Storage Avro Delimited Parquet Positional XML JSON	Hive BigQuery Google Storage Avro Delimited Parquet Positional XML JSON Google PubSub	Hive

Microsoft HD Insight (ビッグデータ用)
Microsoft HD Insightのバージョン	サポートされているフレームワーク	Spark Batchでサポートされているエレメント	Spark Streamingでサポートされているエレメント	標準でサポートされているエレメント
4.0	Spark v2.3 (非推奨)およびv2.4	ADLS Gen2 Azure Blob Storage Hive	ADLS Gen2 Azure Blob Storage Hive	ADLS Gen2 Azure Blob Storage Hive

このページは役に立ちましたか?

このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。

こちらにフィードバックをお寄せください