Big Data - Cloud - 8.0

Talendリリースノート

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud API Services Platform
Talend Cloud Big Data
Talend Cloud Big Data Platform
Talend Cloud Data Integration
Talend Cloud Data Management Platform
Talend Cloud Real-Time Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Cloud API Designer
Talend Cloud API Tester
Talend Cloud Data Inventory
Talend Cloud Data Preparation
Talend Cloud Data Stewardship
Talend Cloud Pipeline Designer
Talend Data Preparation
Talend Data Stewardship
Talend Management Console
Talend Studio
Content
インストールとアップグレード
リリースノート
Last publication date
2024-04-16

機能

説明

対象製品

Spark Universal 3.4.xでDatabricksランタイム13.xをサポート Google Cloud Platform (GCP)、AWS、Azureで、Spark 3.4.xと共にSpark Universalを使い、Databricksのジョブクラスターと汎用クラスターでSpark BacthジョブやStreamingジョブを実行できるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。

このモードを選択すると、Talend StudioはDatabricks 13.xのバージョンと互換性を持つようになります。

Spark 3.4.xでSparkバッチジョブのSpark設定ビューがDatabricksモードで開かれ、強調表示されている状態。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

CDP Private Cloud Base 7.1.9をサポート Spark BatchとSpark Streamingジョブに関し、Talend StudioでSpark Universal 3.3.xを伴うCDP Private Cloud Base 7.1.9がサポートされました。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

標準ジョブでtIcebergCatalogという新しいコンポーネント 標準ジョブでtIcebergCatalogコンポーネントが利用可能になり、HiveまたはHadoopでカスタムカタログを設定できるようになりました。

また、tIcebergTableの[Basic settings] (基本設定)ビューにある[Set catalog] (カタログを設定)に新しいチェックボックスが追加され、テーブルの作成に使用するカタログを指定できるようになりました。

tIcebergTableの[Basic settings] (基本設定)ビューが開き、[Set catalog] (カタログを設定)オプションが選択されている状態。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

標準ジョブでtIcebergOutputでINSERT OVERWRITEをサポート 標準ジョブのtIcebergOutputで、INSERT OVERWRITE機能がサポートされました。新しく追加された[Use insert overwrite] (INSERT OVERWRITEを使用)チェックボックスを使えば、[All rows from source table] (ソーステーブルからのすべての行)オプションでIcebergテーブルのデータをすべて置き換えたり、[Use a custom query] (カスタムクエリーを使用)オプションでIcebergテーブルのデータをカスタムクエリーの結果で置き換えたりできます。
tIcebergOutputの[Basic settings] (基本設定)ビューが開き、[Use insert overwrite] (INSERT OVERWRITEを使用)チェックボックスが選択されている状態。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

HDInsightでAzure Active Directory認証をサポート Talend Studioで、ADLS Gen2とAzureストレージの両方を使ったSpark BatchジョブとSpark StreamingジョブでAzure Active Directory認証がサポートされました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。
Talend Studioは次のDatabricksバージョンと互換性があります:
  • Spark Universal 3.1.xを伴うHDInsight 5.0
  • Spark 2.3.xまたは2.4.xを伴うHDInsight 4.0
Sparkの設定ビューでHDInsightを伴うAzure Active Directoryが表示されている状態。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品