Big Data: 新機能
|
機能 |
説明 |
対象製品 |
|---|---|---|
| CDH 6.x用の軽量の依存項目 |
CDH 6.xディストリビューションでジョブを実行する際、[Run] (実行)ビューの[Spark configuration] (Spark設定)タブにある[Use lightweight dependencies] (軽量の依存項目を使用)チェックボックスをオンにすれば、ジョブが起動するまでの時間を短縮できます。これによってライブラリーの数をTalendライブラリーのみに減らせます。そのため、依存項目に関する問題(署名がない、JARのバージョンが間違っている、JARがないなど)の問題を回避できます。このオプションでは、[Usecustom classpath] (カスタムクラスパスを使用)チェックボックスをオンにし、使用したいJARをコンマ区切りの正規表現構文で入力することで、Clouderaのデフォルトのものとは異なるクラスパスを使用できます。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| 出力コンポーネントのスキーマでの精度のカスタマイズ | 以下のコンポーネントの出力スキーマをアップデートする際、BigDecimal型の標準とは異なる精度を選択できるようになりました。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| tS3Configuration: EMRFSでのDynamoDBテーブル名の設定 | EMRFS整合性ビューオプションを使用する場合は、使用するメタデータDynamoDBテーブル名を入力できます。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| tDeltaLakeInput and tDeltaLakeOutput: データの保存で利用できる新しいパス | データを保存する場合に、DBFS (ADLS Gen2またはS3)ではないファイルシステムへの外部パスを指定できます。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| tDeltaLakeOutput:Actionプロパティに新しく追加された操作 | テーブルをドロップすると、そのテーブルがいちど削除された後に再作成されます。また、テーブルを切り詰めればスキーマを残したままデータを削除することもできます。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| tDeltaLakeOutput:[Basic settings] (基本設定)ビューに追加された新しい最適化プロパティ | DatabricksでDelta Lakeデータのレイアウトを最適化できます。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
| Spark BatchジョブとSpark StreamingジョブでのHadoop設定ファイルの使用 | 設定JARファイルを使ってSpark BatchとSpark StreamingジョブをリポジトリーにあるHadoopクラスターに接続できます。このファイルへのパスは、ジョブのSpark構成かHadoopクラスター構成で指定します。このオプションは、クラウドではないディストリビューションのYarnクラスターとYarnクライアントの両方で利用できます。オプションとして、この接続パラメーターをコンテキスト化すれば、ジョブを実行する環境に基づいて適切なクラスターに自動的に接続できるようになります。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
|
EMR 5.23以降に対する高可用性のサポート |
バージョンが5.23以降のAmazon EMRディストリビューションでTalend Jobsを実行する場合は高い可用性を利用できます。クラスター内に複数のマスターノードを存在させることができるようになりました。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Data Fabric Real-Time Big Data Platform サブスクリプションベースであり、Big Dataを伴うTalendの全製品 |
Data Integration: 新機能
|
機能 |
説明 |
対象製品 |
|---|---|---|
| tDataprepRunの強化 | tDataprepRunコンポーネントが、ダイナミックスキーマを使って新しいプレパレーションを作成する際にエラーメッセージを表示するようになりました。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform MDM Platform Real-Time Big Data Platform サブスクリプションベースであるTalendの全製品(ただしTalend ESBを除く) |
| tELTMap enhancement | tELTMapコンポーネントのELT Mapエディターで、出力カラムに複数行の式を入力し、新しいポップアップダイアログボックスでCtrl+Spaceを押すことで、入力カラム、出力カラム、コンテキスト変数といった候補にアクセスできるようになりました。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
| POM生成の強化 | Mavenビルド用のPOMファイルの生成で、[Exclude deleted items] (削除された項目を除外)という新しいオプションが利用できるようになりました。このオプションを選択すると、削除された項目のモジュールは現在のプロジェクトのPOMファイルから除外され、削除されたテストケースのソースは生成されません。 注: このオプションの新しい設定を適用する場合はPOMファイルを再同期する必要があります。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
| Talendタイプマッピングの強化 | Talendタイプマッピングファイルの日付タイプごとにデフォルトのパターンを設定できるようになりました。これにより、テーブルからスキーマを取得したり推測したりする際に、日付タイプのカラムの日付パターンを自動的に設定できるようになります。
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
|
tSSHライブラリーのアップグレード |
Ganymedは非推奨となり、コンポーネントが新しいライブラリーであるApache mina-sshdをサポートするようになりました。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
|
tSalesforceInput: 新しく追加されたクエリーモード |
tSalesforceInput コンポーネントではBulkV2クエリーモードが提供されています。これによってさらに大量のデータでクエリーを実行できます。このコンポーネントではBulkV2 モード用に[Split query results into small sets] (クエリー結果を小さなセットに分割)オプションも提供されておいるので、クエリー結果を特定サイズのセットに分割するこも可能です。 
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
|
スキーマで定義された日付パターンを使って日付をフォーマット |
tSnowflakeOutputコンポーネントとtSnowflakeOutputBulkExecコンポーネントでは、[Use schema date pattern] (スキーマの日付パターンを使用)オプションが提供されています。これによって、スキーマで定義された日付パターンを使って日付をフォーマットできます。 
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
|
tSnowflakeInput: オプションの名称変更と機能向上 |
[Allow Snowflake to convert columns and tables to uppercase] (Snowflakeによるカラムとテーブルの大文字への変換を許可)オプションの機能が強化され、その名称も[Use unquoted object identifiers] (引用符で囲まれていなオブジェクト識別子を使用)に変更されました。 
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
|
tFTPRename: テーブルのカラム名の固定 |
tFTPRenameコンポーネントが[Files] (ファイル)フィールドにあるファイル名のみをサポートするようになり、Filemaskというカラム名がFilenameに変更されました。 
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
|
tS3Connection: パススタイルのアクセスのサポート |
tS3Connectionコンポーネントでパススタイルのアクセスがサポートされるようになりました。 
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
|
tMongoDBOutput: データフィールドでカスタマイズできるアクション |
[Upsert with set] (セットでアップサート)アクションで、フィールドのアップデート/挿入が可能かどうか指定できます。 
|
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
Data Quality: 新機能
|
機能 |
説明 |
対象製品 |
|---|---|---|
| Phone number standardization | 電話番号を特定のリージョンで検証できるようになりました。
Googleのlibphonenumberライブラリーも最新版にアップデートされています。 |
ⓘ 対象製品： Big Data Platform Cloud API Services Platform Cloud Big Data Platform Cloud Data Fabric Cloud Data Management Platform Data Fabric Data Management Platform Data Services Platform MDM Platform Real-Time Big Data Platform TalendプラットフォームとData Fabricの全製品 |
Application Integration: 新機能
|
機能 |
説明 |
対象製品 |
|---|---|---|
|
マイクロサービス |
CamelメトリクスがMicroservicesのPrometheusに公開され、ルートの実行、JVMのメモリ、CPUの消費などを監視できるようになりました。
|
ⓘ 対象製品： Cloud API Services Platform Cloud Data Fabric Data Fabric Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、ESBを伴うTalendの全製品 |
継続的インテグレーション: 新機能
|
機能 |
説明 |
対象製品 |
|---|---|---|
| POMファイルの生成 - 新しいパラメーター | mvn org.talend.ci:builder-maven-plugin:7.3.3:generateAllPomsコマンドを使えば、プロジェクトをビルドする前にそのプロジェクトの.pomファイルをすべて再生成できます。また、製品の移行に先がけて新しいバージョンをテストする場合にも便利です。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
| カスタムスクリプト - 新しいパラメーター | mvn org.talend.ci:builder-maven-plugin:7.3.3:executeScriptコマンドを使えば、CommandLineコマンドで自分のスクリプトを記述してビルド時に実行できます。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
| PrometheusへのCamelメトリクスの公開 - 新しいパラメーター | DockerにESBアーティファクトを公開している間に-Dstudio.prometheus.metrics=trueパラメーターを使うことで、PrometheusにCamelメトリクスを公開し、デプロイされたルートの詳細を取得できるようになりました。 |
ⓘ 対象製品： Cloud API Services Platform Cloud Data Fabric Data Fabric Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、ESBを伴うTalendの全製品 |
| デバッグモード - 新しいパラメーター | -Dstudio.talendDebug=trueパラメーターを使うことで、ログをさらに取得できるようになりました。このパラメーターはサポートチームと一緒にビルドの問題をデバッグする場合便利です。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |
| ビルドの改良 | Talend Studioプロジェクトの設定に応じて、ごみ箱にある全プロジェクト項目を継続的インテグレーションビルドから除外できるようになりました。 |
ⓘ 対象製品： Big Data Big Data Platform Cloud API Services Platform Cloud Big Data Cloud Big Data Platform Cloud Data Fabric Cloud Data Integration Cloud Data Management Platform Data Fabric Data Integration Data Management Platform Data Services Platform ESB MDM Platform Real-Time Big Data Platform サブスクリプションベースであり、Talend Studioを伴うTalendの全製品 |