R2021-04の新機能 - Cloud - 8.0

Talendリリースノート

Version
Cloud
8.0
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud API Services Platform
Talend Cloud Big Data
Talend Cloud Big Data Platform
Talend Cloud Data Integration
Talend Cloud Data Management Platform
Talend Cloud Real-Time Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Cloud API Designer
Talend Cloud API Tester
Talend Cloud Data Inventory
Talend Cloud Data Preparation
Talend Cloud Data Stewardship
Talend Cloud Pipeline Designer
Talend Data Preparation
Talend Data Stewardship
Talend Management Console
Talend Studio
Content
インストールとアップグレード
リリースノート
Last publication date
2024-03-15

Big Data: 新機能

機能

説明

対象製品

Spark Universal 3.1.xのAWSでCloudera Data Engineeringエクスペリエンスをサポート Spark 3.1.xでSpark Universalを使い、Cloudera Data EngineeringエクスペリエンスでSparkジョブを実行できるようになりました。これはSparkジョブの[Spark Configuration] (Spark設定)ビューで設定できます。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

Spark Universal 3.1.xでジョブクラスターを伴うDatabricksランタイム8.x〜9.xをサポート Spark 3.1.xでSpark Universalを使い、DatabricksのジョブクラスターでSparkジョブを実行できるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。

このモードを選択すると、Talend StudioはDatabricks 8.xから9.xまでのバージョンと互換性を持つようになります。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

ローカルモードでのSpark Universal 3.2.xのサポート [Local] (ローカル)モードで、Spark 3.2.xでSpark Universalを使ってSparkジョブを実行できるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。

このモードを選択すると、Talend Studioでジョブをローカルに実行できるよう、Talend Studioが実行時にSpark環境自体をビルドするようになります。

Talend Data Mapper Big Dataコンポーネント(tHConvertFile、tHMapFile、tHMapInput、tHMapRecord)は、今のところSpark 3.2.xと互換性がありません。

ベータ版機能であるため、本番環境での使用には適していません。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

Spark Universal 3.1.xでのGoogle Dataproc 2.0.xのサポート Spark 3.1.xでSpark Universalを使い、Google DataprocクラスターでSparkジョブを実行できるようになりました。これはSparkジョブの[Spark Configuration] (Spark設定)ビューで設定できます。

このモードを選択すると、Talend StudioはSpark BatchとSpark Streaming JobsでのみDataproc 2.0.xのバージョンと互換性を持つようになります。現在のところ、Hiveコンポーネントが含まれる標準ジョブはサポートされていません。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

Sparkジョブで複数のtGSConfigurationコンポーネントをサポート 1つのジョブで複数のtGSConfigurationコンポーネントを使い、認証情報が異なる別々のGoogle Storageバケットを使えるようになりました。この機能はSpark BatchとSpark Streamingの両方のジョブに適用されています。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

標準ジョブでKnoxとImpalaによるCDP Public Cloudをサポート CDP Public Cloudを使って標準ジョブを実行する場合、KnoxとImpalaの両方を活用できるようになりました。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

Spark Universal 3.1.xでAWS EMR 6.3.x、6.4.x、6.5.xの各ディストリビューションをサポート [Yarn cluster] (Yarnクラスター)モードで、Spark 3.1.xでSpark Universalを使いAWS EMRクラスターでSparkジョブを実行できるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。

このモードを選択すると、Talend StudioはAWS EMR 6.3.x、6.4.x、6.5.xバージョンと互換性を持つようになります。現在のところ、tHiveConnectionコンポーネントではSparkジョブが動作しません。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

Spark Universal 3.2.xでオープンソースApache Sparkスタンドアロンクラスターをサポート [Standalone] (スタンドアロン)モードで、Spark Universal 3.2.xを使ってSparkジョブを実行できるようになりました。これはSparkジョブの[Spark Configuration] (Spark設定)ビューで設定できます。

このモードを選択すると、Talend StudioはSpark対応のクラスターに接続してそのクラスターからジョブを実行します。

  • ベータ版機能であるため、本番環境での使用には適していません。
  • Kerberosはまだベータ版では利用できません。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

SparkジョブでAzure Synapse Spark PoolのAzure Active Directory (AD)サービスプリンシパルをサポート

Spark BatchジョブとSpark StreamingジョブのディストリビューションとしてApache Sparkプールと共にAzure Synapse Analyticsを使う時に、Azure ADサービスプリンシパルで認証できるようになりました。これはSparkジョブの[Spark Configuration] (Spark設定)ビューで設定できます。

ベータ版機能であるため、本番環境での使用には適していません。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

Data Integration: 新機能

機能

説明

対象製品

Talend Studioがリモートプロジェクト移行テスト用のテストブランチを自動的に作成

Talend Studioの新しい[Migrate projects or test] (プロジェクトを移行またはテスト)ウィザードで、次の2つのオプションが提供されるようになりました。
  • [Migrate] (移行): テストせずにプロジェクトを移行します。
  • [Test] (テスト): 本番環境用のブランチの安全性が保たれるよう、テストブランチを作成してそこにプロジェクトを移行し、プロジェクトの移行をテストします。

Talend Studioバージョンより低いバージョンのリモートプロジェクトを開くと、ウィザードが表示されます。

対象製品:

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、Talend Studioを伴うTalendの全製品

SAP Java Connectorバージョン3を介してアクティブなADSOにデータを書き込む新しいコンポーネント

このリリースでは、SAP Java Connectorバージョン3を介してアクティブな詳細データストアオブジェクト(ADSO)にデータを書き込めるtSAPADSOOutputコンポーネントが提供されています。

対象製品:

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、Talend Studioを伴うTalendの全製品

Sambaホストでファイルをそれぞれリスト表示および削除する新しいコンポーネント

今回のリリースから次の2つのコンポーネントが追加されました。

  • tSambaListコンポーネント: Samba V2ホストやV3ホストのディレクトリー内のファイルをリスト表示し、そのファイルに関する情報を後続のコンポーネントに渡します。

  • tSambaDeleteコンポーネント: Sambaホストのディレクトリー内のファイルまたはディレクトリー全体を削除します。

対象製品:

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、Talend Studioを伴うTalendの全製品

Microsoft SQL Serverバージョン2019に対するサポート

本リリースにはMicrosoft SQL Serverバージョン2019のサポートが追加されています。これによって、Microsoft SQL Serverデータベース接続時にAzure Active Directory認証を利用できるようになっています。

対象製品:

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、Talend Studioを伴うTalendの全製品

Redshiftドライバーv2.xをサポート

本リリースにはRedshiftドライバーv2.xのサポートが追加されています。[Driver version] (ドライバーバージョン)オプションが、RedshiftのコンポーネントであるtRedshiftInput、tRedshiftUnload、tRedshiftOutput、tRedshiftConnection、tRedshiftRow、tRedshiftOutputBulkExec、tRedshiftBulkExecに追加されました。

ドライバーv1とドライバーv2ではJDBCパラメーターの指定方法が異なります。詳細は、tRedshiftConnectionの標準プロパティをご覧ください。

対象製品:

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、Talend Studioを伴うTalendの全製品

tSAPTableInputでDynamic Schemaをサポート tSetDynamicSchemaを使った標準ジョブのtSAPTableInputで、Dynamic Schema機能がサポートされました。このDynamic Schema機能によってスタティックでない方法でスキーマを設定できるため、将来スキーマを変更する時にジョブを再デザインする必要がなく、常に機能することが保証されています。テーブル、カラム、結合をダイナミックに提供できるようになりました。

対象製品:

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、Talend Studioを伴うTalendの全製品

Data Quality: 新機能

機能

説明

対象製品

新しいキー導出関数 データプライバシーコンポーネントが、反復回数が30万回のPBKDF2キー導出関数によって強化されました。この関数はデフォルトであり、新しいジョブで使われます。

8.0 R2022-04より前のジョブとの互換性のため、反復回数が65,536回のPBKDF2は引き続きサポートされていますが、非推奨です。

[Advanced settings] (詳細設定)でキー導出関数を選択します。
この関数を利用できるコンポーネントは次のとおりです。
  • tDataEncrypt
  • tDataDecrypt
  • tDataMasking
  • tDataUnmasking
  • tPatternMasking
  • tPatternUnmasking

対象製品:

Big Data Platform

Cloud API Services Platform

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Management Platform

Data Fabric

Data Management Platform

Data Services Platform

MDM Platform

Real-Time Big Data Platform

TalendプラットフォームとData Fabricの全製品

Application Integration: 新機能

機能

説明

対象製品

デフォルトのマイクロサービスモニタリングエンドポイントが、情報、健全性、Jolokiに限定されました。

Talend Studioでビルドされたマイクロサービスによって、Spring Bootアクチュエーターエンドポイントへのアクセスが可能になります。デフォルトのモニタリングエンドポイントが、情報、健全性、Jolokiに限定されました。

対象製品:

Cloud API Services Platform

Cloud Data Fabric

Data Fabric

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、ESBを伴うTalendの全製品

継続的インテグレーション: 新機能

機能

説明

対象製品

Talend CI Builderがバージョン8.0.4にアップグレード Talend CI Builderがバージョン8.0.1からバージョン8.0.4にアップグレードされました。

このマンスリーバージョン以降からTalend CI Builderの新バージョンがリリースされるまでは、CIコマンドやパイプラインスクリプトにTalend CI Builder 8.0.4を使います。

対象製品:

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、Talend Studioを伴うTalendの全製品

スタンドアロンCIステップでTalend CommandLineをインストールできる新しいコマンド 新しいmvn org.talend.ci:builder-maven-plugin:8.0.4:installコマンドが利用可能となり、プロジェクトの作成やPOMファイルの生成なしにスタンドアロンCIステップでTalend CommandLineをインストールできるようになりました。

対象製品:

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、Talend Studioを伴うTalendの全製品