|
機能 |
説明 |
対象製品 |
|---|---|---|
| Spark Universalのサポート | [Local] (ローカル)モードと[Yarn cluster] (Yarnクラスター)モードのどちらかで、Spark 2.4.xまたはSpark 3.0.xでSpark Universalを使って、Sparkジョブを実行できるようになりました。 Spark Universalとは、[Yarn cluster] (Yarnクラスター)でクラスターへの接続の確立に必要な情報が含まれるHadoop設定JARファイルのみを使って、特定のSparkバージョンの利用できるすべてのビッグデータディストリビューションとTalend Studioの間の互換性があるようにするメカニズムです。 Spark Universalによって、さまざまなSparkモード、ディストリビューション、環境のいずれかの間のスイッチが有効化されるため、俊敏性が向上します。 ジョブの[Spark configuration] (Spark設定)ビューと[Repository] (リポジトリー)ツリービューからの[Hadoop Cluster Connection] (Hadoopクラスター接続)のどちらかでSpark Universal接続を設定できます:
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| Spark Universal 3.1.xでKubernetesのサポート | [Kubernetes]モードで、Spark 3.1.xでSpark Universalを使って、Sparkジョブを実行できるようになりました。 KubernetesとのSpark Universal接続は、ジョブの[Spark configuration] (Spark設定)ビューと[Repository] (リポジトリー)ツリービューからの[Hadoop Cluster Connection] (Hadoopクラスター接続)のいずれかで設定できます:
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| Spark Batchコンポーネントでのダイナミックスキーマのサポート | Sparkジョブで、以下のコンポーネントを使って、ダイナミックスキーマを使えるようになりました:
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| 新しいディストリビューションのサポート 7.3マンスリーリリースで配信済み |
Sparkジョブでは次のディストリビューションを使用できます。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| SparkジョブにおけるローカルモードのSpark 3.0のサポート 7.3 R2021-02マンスリーリリースで配信済み |
Talend StudioでのSparkジョブの実行で、ローカルモードのSpark 3.0がサポートされました。 注: ただし次のエレメントの場合、ローカルモードのSpark 3.0はサポートされていません。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| AWSでのCDP Public Cloud Data Hubに関するKnoxのサポート 7.3 R2021-06マンスリーリリースで配信済み |
AWSでのCDP Public Cloud Data HubインスタンスをCDP 7.1以降のYARNクラスターとHDFSモードで使用する場合、Sparkジョブの[Spark configuraiton] (Spark設定)ビュー、または[Repository] (リポジトリー)ツリービューの[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードで、Knoxを使って認証できるようになりました。Knoxでは、SSOのみを使って単一認証を提供できます。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| Cloudera CDP 7.1.xでのHive Warehouse Connectorのサポート 7.3 R2021-10マンスリーリリースで配信済み |
Hive Warehouse Connectorを使って、以下の新しいコンポーネントが含まれているSpark BatchジョブでHiveトランザクション管理対象テーブルから/にデータを取得するか、データを書き込むことができるようになりました:
Talend Studioでは、Hive Warehouse Connectorによって、データに対してより最適なトランザクション制御が可能となるHiveトランザクション管理対象テーブルがサポートされています。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |