Big Data - Cloud - 8.0

Talendリリースノート

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud API Services Platform
Talend Cloud Big Data
Talend Cloud Big Data Platform
Talend Cloud Data Integration
Talend Cloud Data Management Platform
Talend Cloud Real-Time Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Cloud API Designer
Talend Cloud API Tester
Talend Cloud Data Inventory
Talend Cloud Data Preparation
Talend Cloud Data Stewardship
Talend Cloud Pipeline Designer
Talend Data Preparation
Talend Data Stewardship
Talend Management Console
Talend Studio
Content
インストールとアップグレード
リリースノート
Last publication date
2024-03-15

機能

説明

対象製品

Spark BatchジョブでSparkデータセットのパーティションを管理する新コンポーネントtManagePartitionsを追加 Spark Batchジョブで、現在非推奨となっているtPartitionに代わってtManagePartitionsという新しいコンポーネントを利用できるようになりました。このコンポーネントでは、入力データセットのパーティショニングを視覚的に定義することでパーティションを管理できます。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

Spark BatchジョブでtManagePartitionsを伴う自動パーティショニングをサポート SparkジョブにあるtManagePartitionsの[Basic settings] (基本設定)ビューから[Partitioning strategy] (パーティショニング戦略)ドロップダウンリストで、[Auto] (自動)という新しいオプションが利用可能になりました。このオプションを使えば、データセットに適用する最適な戦略を計算できます。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

Spark BatchジョブでSparkキャッシュをクリアする新コンポーネントtCacheClearを追加 Spark BatchジョブでtCacheClearという新しいコンポーネントが利用可能になりました。このコンポーネントを使えば、tCacheOutによって保存されたRDD (Resilient Distributed Datasets)キャッシュをメモリから削除できます。

キャッシュのクリアはよい取り組みです。たとえばキャッシュレイヤーが満杯になった場合、SparkはLRU (Least Recently Used)戦略を使ってメモリからのデータ破棄を開始します。そのため、アンパーシストすることで、何を破棄させるべきかについてさらにコントロールし続けられるようになります。また、メモリに空き容量があればそれだけ、Sparkがハッシュマップのビルドなどの実行に充てることができます。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

標準ジョブでtImpalaCreateTableを伴うKudu形式をサポート 標準ジョブでtImpalaCreateTableを使ってテーブルを作成する時は、Kudu形式がサポートされます。Kudu テーブルで作業する場合は、[Kudu partition] (Kuduパーティション)という新しいパラメーターで作成するパーティションの数を設定することもできます。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

標準ジョブでHBaseテーブルから行を削除する新コンポーネントtHBaseDeleteRowを追加 標準ジョブでtHBaseDeleteRowという新しいコンポーネントが利用可能になりました。このコンポーネントでは、行キーを指定することで、HBaseテーブルからデータのある行を削除できます。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

CDP Public CloudでKnoxを使い、HBaseコンポーネントを伴うSpark Batchジョブを実行可能 CDP Public Cloudで実行するSpark Batchジョブで、HBaseを伴うKnoxを使用できるようになりました。Knoxは、tHBaseConfigurationパラメーターかHBaseメタデータウィザードで設定できます。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

Spark BatchジョブでHBaseテーブルからの並列読み取りをサポート Spark BatchジョブにあるtHBaseInputの[Basic settings] (基本設定)ビューで、[Partition by table regions] (テーブルリージョンごとにパーティショニング)という新しいオプションが利用可能になりました。このオプションは、HBaseテーブルのリージョン数を使ってデータを並列に読み取ることができます。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品