Big Data: 新機能
|
機能 |
説明 |
対象製品 |
|---|---|---|
| Spark Universal 3.1.xのAWSでCloudera Data Engineeringエクスペリエンスをサポート | Spark 3.1.xでSpark Universalを使い、Cloudera Data EngineeringエクスペリエンスでSparkジョブを実行できるようになりました。これはSparkジョブの[Spark Configuration] (Spark設定)ビューで設定できます。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| Spark Universal 3.1.xでジョブクラスターを伴うDatabricksランタイム8.x〜9.xをサポート | Spark 3.1.xでSpark Universalを使い、DatabricksのジョブクラスターでSparkジョブを実行できるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。 このモードを選択すると、Talend StudioはDatabricks 8.xから9.xまでのバージョンと互換性を持つようになります。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| ローカルモードでのSpark Universal 3.2.xのサポート | [Local] (ローカル)モードで、Spark 3.2.xでSpark Universalを使ってSparkジョブを実行できるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。 このモードを選択すると、Studio内でジョブをローカルに実行できるよう、Talend Studioはランタイム時にSpark環境自体をビルドします。 Talend Data Mapper Big Dataコンポーネント(tHConvertFile、tHMapFile、tHMapInput、tHMapRecord)は、今のところSpark 3.2.xと互換性がありません。 ベータ版機能であるため、本番環境での使用には適していません。 
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| Spark Universal 3.1.xでのGoogle Dataproc 2.0.xのサポート | Spark 3.1.xでSpark Universalを使い、Google DataprocクラスターでSparkジョブを実行できるようになりました。これはSparkジョブの[Spark Configuration] (Spark設定)ビューで設定できます。 このモードを選択すると、Talend StudioはSpark BatchとSpark Streaming JobsでのみDataproc 2.0.xのバージョンと互換性を持つようになります。現在のところ、Hiveコンポーネントが含まれる標準ジョブはサポートされていません。 
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| Sparkジョブで複数のtGSConfigurationコンポーネントをサポート | 1つのジョブで複数のtGSConfigurationコンポーネントを使い、認証情報が異なる別々のGoogle Storageバケットを使えるようになりました。この機能はSpark BatchとSpark Streamingの両方のジョブに適用されています。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| 標準ジョブでKnoxとImpalaによるCDP Public Cloudをサポート | CDP Public Cloudを使って標準ジョブを実行する場合、KnoxとImpalaの両方を活用できるようになりました。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| Spark Universal 3.1.xでAWS EMR 6.3.x、6.4.x、6.5.xの各ディストリビューションをサポート | [Yarn cluster] (Yarnクラスター)モードで、Spark 3.1.xでSpark Universalを使いAWS EMRクラスターでSparkジョブを実行できるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。 このモードを選択すると、Talend StudioはAWS EMR 6.3.x、6.4.x、6.5.xバージョンと互換性を持つようになります。現在のところ、tHiveConnectionコンポーネントではSparkジョブが動作しません。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| Spark Universal 3.2.xでオープンソースApache Sparkスタンドアロンクラスターをサポート | [Standalone] (スタンドアロン)モードで、Spark Universal 3.2.xを使ってSparkジョブを実行できるようになりました。これはSparkジョブの[Spark Configuration] (Spark設定)ビューで設定できます。 このモードを選択すると、Talend StudioはSpark対応のクラスターに接続してそのクラスターからジョブを実行します。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| SparkジョブでAzure Synapse Spark PoolのAzure Active Directory (AD)サービスプリンシパルをサポート |
Spark BatchジョブとSpark StreamingジョブのディストリビューションとしてApache Sparkプールと共にAzure Synapse Analyticsを使う時に、Azure ADサービスプリンシパルで認証できるようになりました。これはSparkジョブの[Spark Configuration] (Spark設定)ビューで設定できます。 ベータ版機能であるため、本番環境での使用には適していません。 
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
Data Integration: 新機能
|
機能 |
説明 |
対象製品 |
|---|---|---|
|
Studioがリモートプロジェクト移行テスト用のテストブランチを自動的に作成可能 |
Talend Studioの新しい[Migrate projects or test] (プロジェクトを移行またはテスト)ウィザードで、次の2つのオプションが提供されるようになりました。
Talend Studioバージョンより低いバージョンのリモートプロジェクトを開くと、ウィザードが表示されます。 
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
|
SAP Java Connectorバージョン3を介してアクティブなADSOにデータを書き込む新しいコンポーネント |
このリリースでは、SAP Java Connectorバージョン3を介してアクティブな詳細データストアオブジェクト(ADSO)にデータを書き込めるtSAPADSOOutputコンポーネントが提供されています。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
|
Sambaホストでファイルをそれぞれリスト表示および削除する新しいコンポーネント |
今回のリリースから次の2つのコンポーネントが追加されました。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
|
Microsoft SQL Serverバージョン2019に対するサポート |
本リリースにはMicrosoft SQL Serverバージョン2019のサポートが追加されています。これによって、Microsoft SQL Serverデータベース接続時にAzure Active Directory認証を利用できるようになっています。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
|
Redshiftドライバーv2.xをサポート |
本リリースにはRedshiftドライバーv2.xのサポートが追加されています。[Driver version] (ドライバーバージョン)オプションが、RedshiftのコンポーネントであるtRedshiftInput、tRedshiftUnload、tRedshiftOutput、tRedshiftConnection、tRedshiftRow、tRedshiftOutputBulkExec、tRedshiftBulkExecに追加されました。 ドライバーv1とドライバーv2ではJDBCパラメーターの指定方法が異なります。詳細は、tRedshiftConnectionの標準プロパティをご覧ください。 
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
| tSAPTableInputでDynamic Schemaをサポート | tSetDynamicSchemaを使った標準ジョブのtSAPTableInputで、Dynamic Schema機能がサポートされました。このDynamic Schema機能によってスタティックでない方法でスキーマを設定できるため、将来スキーマを変更する時にジョブを再デザインする必要がなく、常に機能することが保証されています。テーブル、カラム、結合をダイナミックに提供できるようになりました。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
Data Quality: 新機能
|
機能 |
説明 |
対象製品 |
|---|---|---|
| 新しいキー導出関数 | データプライバシーコンポーネントが、反復回数が30万回のPBKDF2キー導出関数によって強化されました。この関数はデフォルトであり、新しいジョブで使われます。 8.0 R2022-04より前のジョブとの互換性のため、反復回数が65,536回のPBKDF2は引き続きサポートされていますが、非推奨です。 [Advanced settings] (詳細設定)でキー導出関数を選択します。
この関数を利用できるコンポーネントは次のとおりです。
|
ⓘ 対象製品： Big Data Platform Cloud API Services Platform Cloud Big Data Platform Cloud Data Fabric Cloud Data Management Platform Data Fabric Data Management Platform Data Services Platform MDM Platform Real-Time Big Data Platform TalendプラットフォームとData Fabricの全製品 |
Application Integration: 新機能
|
機能 |
説明 |
対象製品 |
|---|---|---|
|
デフォルトのMicroserviceモニタリングエンドポイントが、情報、健全性、Jolokiに限定されました。 |
Talend StudioでビルドされたMicroserviceによって、Spring Bootアクチュエーターエンドポイントへのアクセスが可能になります。デフォルトのモニタリングエンドポイントが、情報、健全性、Jolokiに限定されました。 |
ⓘ 対象製品： Cloud API Services Platform Cloud Data Fabric Data Fabric Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、ESBを伴うTalendの全製品 |
継続的インテグレーション: 新機能
|
機能 |
説明 |
対象製品 |
|---|---|---|
| Talend CI Builderがバージョン8.0.4にアップグレード | Talend CI Builderがバージョン8.0.1からバージョン8.0.4にアップグレードされました。 このマンスリーバージョン以降からTalend CI Builderの新バージョンがリリースされるまでは、CIコマンドやパイプラインスクリプトにTalend CI Builder 8.0.4を使います。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
| スタンドアロンCIステップでTalend CommandLineをインストールできる新しいコマンド | 新しいmvn org.talend.ci:builder-maven-plugin:8.0.4:installコマンドが利用可能となり、プロジェクトの作成やPOMファイルの生成なしにスタンドアロンCIステップでTalend CommandLineをインストールできるようになりました。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |