Big Data: 新機能
|
機能 |
説明 |
対象製品 |
|---|---|---|
| ローカルモードでSpark Universal 3.3.xをサポート | [Local] (ローカル)モードのSpark 3.3.xで、Spark Universalを使ってSpark BatchジョブとSpark Streamingジョブを実行できるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。 Talend Data Mapper本リリースの時点では、Big DataコンポーネントとTalend Data QualityコンポーネントはSpark 3.3.xと互換性がないため、このパッチでは引き続きSpark Universal 3.2.xがデフォルトバージョンとなります。Spark 3.3.xはR2020-10以降のバージョンでサポートされています。 
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| GCPでのSpark Universal 3.2.xの使用でDatabricksランタイム10.x以降をサポート | Google Cloud Platform (GCP)で、Spark 3.2.xと共にSpark Universalを使い、Databricksのジョブクラスターと汎用クラスターでSpark BacthジョブやStreamingジョブを実行できるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。 このモードを選択すると、Talend StudioはDatabricks 10.x以降のバージョンと互換性を持つようになります。 
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| SparkジョブのDatabricksでジョブクラスターを汎用クラスターに切り替えられるコンテキストグループをサポート | コンテキストグループを使い、Databricksでジョブクラスターを汎用クラスターに切り替えられるようになりました。Databricksクラスターへの接続を設定する際に、Sparkジョブの実行時に使用する特定のコンテキストグループを追加できるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューと[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのいずれでも設定できますが、[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードで設定することをお勧めします。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| SparkジョブでダイナミックスキーマをサポートするようtFileInputDelimitedを強化 | Spark BatchジョブでtFileInputDelimitedのスキーマにダイナミックカラムを追加できるようになりました。ダイナミックスキーマ機能により、スタティックでない方法でスキーマを設定できるため、将来スキーマを変更する時にジョブを再デザインする必要がなく、常に機能することが保証されています。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| Spark Batch 3.1以降でMongoDB v4+をサポート | データセットを使ったSpark Batchジョブの次のコンポーネントで、Talend StudioがSpark 3.1以降のバージョンを使用するMongoDB v4+をサポートするようになりました。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
Data Integration: 新機能
|
機能 |
説明 |
対象製品 |
|---|---|---|
| Talend Cloud経由でTalend StudioにSSOログイン | Talend Cloudでの作業時に、Talend Cloud経由でSSOまたは通常の方法でTalend Studioにログインできるようになりました。ログイン画面に、次の2つのオプションが表示されます。
注: 現在のところ、ARM64によるLinuxの場合、Talend Cloud経由のTalend Studioへのログインはサポートされていません。
詳細は、Talend Studioの起動をご覧ください。 
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
| アップデートリポジトリーにアクセスできるよう基本認証をサポート | Talend Studioで、Eclipseのセキュアストレージに基づくアップデートリポジトリーの基本認証がサポートされました。詳細は、Talend Studioでのアップデートリポジトリーの基本認証をご覧ください。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
| アップデートのインストール時に古いライブラリーをクリーンアップするオプションを追加 | Talend Studioで次のいずれかの設定を行うことで、アップデートのインストール時に古いライブラリーを自動的にクリーンアップできるようになりました。
これによって、ディスク容量を節約し、セキュリティツールがライブラリの脆弱性をスキャンする際に発生するノイズを低減できるようになります。次の点にご注意ください。
詳細は、Talend Studioをアップデートをご覧ください。 
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
| Talend Cloudでの作業時にGitコミット作成者としてメールアドレスを使用可能 | Talend Cloud Management Consoleで管理されているプロジェクトで作業している場合、Talend Cloud Management Consoleでは、Talend Studioで変更をGitにコミットする際にログイン名ではなくメールアドレスがGitの作成者およびコミッターとして使用されるようになりました。
|
ⓘ 対象製品： Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Talend Cloudの全製品とTalend Data Fabric |
| Google Bigtableに接続してデータを保存および取得できる新コンポーネント | Talend Studioで次の新しいコンポーネントがサポートされ、Google Bigtableに接続してデータを保存したり取得したりできるようになりました。
|
ⓘ 対象製品： Big Data Platform Cloud API Services Platform Cloud Big Data Platform Cloud Data Fabric Cloud Data Management Platform Data Fabric Data Management Platform Data Services Platform MDM Platform Real-Time Big Data Platform TalendプラットフォームとData Fabricの全製品 |
| Oracleコンポーネントとメタデータウィザードの新たなオプションによってグローバリゼーションサポートを追加 | Oracleコンポーネントとメタデータウィザードに追加された[Support NLS] (NLSをサポート)オプションによって、Oracle 18以降のバージョンでグローバリゼーションサポートを有効にできるようになりました。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
| Workdayクライアントに書き込める新しいコンポーネント | このリリースで追加されたtWorkdayOutputコンポーネントにより、Workdayクライアントにデータを書き込むことができようになりました。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
| tPOPでMicrosoft Exchange認証をサポート | tPOPコンポーネントに追加されたMicrosoft Exchange認証モードにより、Microsoft Exchange認証モードでメッセージを取得できるようになりました。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
| tDataStewardshipTaskInputコンポーネントに関するIDベースのページネーション | このオプションを有効にすると、Talend Cloud Data Stewardshipタスクのフェッチとソートのパフォーマンスが向上します。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品
|
| Log4j 2使用時にMDCを介してログ属性を追加 | ジョブでApache Log4j 2を使用する際に、Log4j 2 MDC (Mapped Diagnostic Context)にキー/値のペアが入力されるようになりました。これらの新しいログ属性によって、複数のスレッドからのログメッセージがすべて単一のファイルに書き込まれる場合に、ログデータが生成されたスレッドを簡単に特定できるようになります。Log4j 2 MDCの詳細は、Log4j 2 API - Thread Contextをご覧ください。 ログを書き込む際にこの新しいログ属性を含めるためには、Talend StudioでLog4j 2テンプレートを設定する必要があります。詳細は、Log4jを有効化して設定をご覧ください。 
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
Data Mapper: 新機能
|
機能 |
説明 |
対象製品 |
|---|---|---|
|
フラットマッピングから階層マッピングへ |
新しいタイプのマップでは、フラット構造から階層構造を作成してマッピングできます。出力構造を編集して配列やレコードを作成したり、特定のエレメントに基づいてデータをグループ化したりできます。出力構造を定義すると、マップが作成され、入力が自動的に出力へとマッピングされます。 |