R2020-08の新機能 - 7.3

Talend Data Fabricリリースノート

EnrichVersion
7.3
EnrichProdName
Talend Data Fabric
task
インストールとアップグレード
リリースノート

Big Data: 新しい機能

機能

説明

CDH 6.x用の軽量の依存項目
CDH 6.xディストリビューションでジョブを実行する際、[Run] (実行)ビューの[Spark configuration] (Spark設定)タブにある[Use lightweight dependencies] (軽量の依存項目を使用)チェックボックスをオンにすれば、ジョブが起動するまでの時間を短縮できます。これによってライブラリーの数をTalendライブラリーのみに減らせます。そのため、依存項目に関する問題(署名がない、JARのバージョンが間違っている、JARがないなど)の問題を回避できます。このオプションでは、[Usecustom classpath] (カスタムクラスパスを使用)チェックボックスをオンにし、使用したいJARをカンマ区切りの正規表現構文で入力することで、Clouderaのデフォルトのものとは異なるクラスパスを使用できます。
出力コンポーネントのスキーマでの精度のカスタマイズ 以下のコンポーネントの出力スキーマを更新する際、BigDecimal型の標準とは異なる精度を選択できるようになりました。
  • tDeltaLakeOutput
  • tFileOutputDelimited
  • tFileOutputParquet
  • tHiveOutput
tS3Configuration: EMRFSでのDynamoDBテーブル名の設定 EMRFS整合性ビューオプションを使用する場合は、使用するメタデータDynamoDBテーブル名を入力できます。
tDeltaLakeInput and tDeltaLakeOutput: データの保存で利用できる新しいパス データを保存する場合に、DBFS (ADLS Gen2またはS3)ではないファイルシステムへの外部パスを指定できます。
tDeltaLakeOutput:Actionプロパティに新しく追加された操作 テーブルをドロップすると、そのテーブルがいちど削除された後に再作成されます。また、テーブルを切り詰めればスキーマを残したままデータを削除することもできます。
tDeltaLakeOutput:[Basic settings] (基本設定)ビューに追加された新しい最適化プロパティ DatabricksでDelta Lakeデータのレイアウトを最適化できます。
Spark BatchジョブとSpark StreamingジョブでのHadoop設定ファイルの使用 設定JARファイルを使ってSpark BatchとSpark StreamingジョブをリポジトリーにあるHadoopクラスターに接続できます。このファイルへのパスは、ジョブのSpark構成かHadoopクラスター構成で指定します。このオプションは、クラウドではないディストリビューションのYarnクラスターとYarnクライアントの両方で利用できます。オプションとして、この接続パラメーターをコンテキスト化すれば、ジョブを実行する環境に基づいて適切なクラスターに自動的に接続できるようになります。

EMR 5.23以降に対する高可用性のサポート

バージョンが5.23以降のAmazon EMRディストリビューションでTalend Jobsを実行する場合は高い可用性を利用できます。クラスター内に複数のマスターノードを存在させることができるようになりました。

Data Integration: 新しい機能

機能

説明

tDataprepRunの強化 tDataprepRunコンポーネントが、ダイナミックスキーマを使って新しいプレパレーションを作成する際にエラーメッセージを表示するようになりました。
tELTMap enhancement tELTMapコンポーネントのELTマップエディターで、出力カラムに複数行の式を入力し、新しいポップアップダイアログボックスでCtrl+Spaceを押すことで、入力カラム、出力カラム、コンテキスト変数といった候補にアクセスできるようになりました。
POM生成の強化 Mavenビルド用のPOMファイルの生成で、[Exclude deleted items] (削除された項目を除外)という新しいオプションが利用できるようになりました。このオプションを選択すると、削除された項目のモジュールは現在のプロジェクトのPOMファイルから除外され、削除されたテストケースのソースは生成されません。
注: このオプションの新しい設定を適用する場合はPOMファイルを再同期する必要があります。
Talendタイプマッピングの強化 Talendタイプマッピングファイルの日付タイプごとにデフォルトのパターンを設定できるようになりました。これにより、テーブルからスキーマを取得したり推測したりする際に、日付タイプのカラムの日付パターンを自動的に設定できるようになります。

tSSHライブラリーのアップグレード

Ganymedは非推奨となり、コンポーネントが新しいライブラリーであるApache mina-sshdをサポートするようになりました。

tSalesforceInput: 新しく追加されたクエリーモード

tSalesforceInput コンポーネントではBulkV2クエリーモードが提供されています。これによってさらに大量のデータでクエリーを実行できます。このコンポーネントではBulkV2 モード用に[Split query results into small sets] (クエリー結果を小さなセットに分割)オプションも提供されておいるので、クエリー結果を特定サイズのセットに分割するこも可能です。

スキーマで定義された日付パターンを使って日付をフォーマット

tSnowflakeOutputコンポーネントとtSnowflakeOutputBulkExecコンポーネントでは、[Use schema date pattern] (スキーマの日付パターンを使用)オプションが提供されています。これによって、スキーマで定義された日付パターンを使って日付をフォーマットできます。

tSnowflakeInput: オプションの名称変更と機能向上

[Allow Snowflake to convert columns and tables to uppercase] (Snowflakeによるカラムとテーブルの大文字への変換を許可)オプションの機能が強化され、その名称も[Use unquoted object identifiers] (引用符で囲まれていなオブジェクト識別子を使用)に変更されました。

tFTPRename: テーブルのカラム名の固定

tFTPRenameコンポーネントが[Files] (ファイル)フィールドにあるファイル名のみをサポートするようになり、Filemaskというカラム名がFilenameに変更されました。

tS3Connection: パススタイルのアクセスのサポート

tS3Connectionコンポーネントでパススタイルのアクセスがサポートされるようになりました。

tMongoDBOutput: データフィールドでカスタマイズできるアクション

[Upsert with set] (セットでアップサート)アクションで、フィールドの更新/挿入が可能かどうか指定できます。

Data Quality: 新しい機能

機能

説明

電話番号の標準化 電話番号を特定のリージョンで検証できるようになりました。
  • tStandardizePhoneNumberコンポーネントの新しいカラム: isValidPhoneNumberForRegion
  • 新しい電話番号統計指標: [Valid Phone Number for Region Count] (リージョンカウントで有効な電話番号)

Googleのlibphonenumberライブラリーも最新版に更新されています。

ESB: 新しい機能

機能

説明

マイクロサービス

CamelメトリクスがMicroservicesのPrometheusに公開され、ルートの実行、JVMのメモリ、CPUの消費などを監視できるようになりました。

継続的インテグレーション: 新しい機能

機能

説明

POMファイルの生成 - 新しいパラメーター mvn org.talend.ci:builder-maven-plugin:7.3.3:generateAllPomsコマンドを使えば、プロジェクトをビルドする前にそのプロジェクトの.pomファイルをすべて再生成できます。また、製品の移行に先がけて新しいバージョンをテストする場合にも便利です。
カスタムスクリプト - 新しいパラメーター mvn org.talend.ci:builder-maven-plugin:7.3.3:executeScriptコマンドを使えば、CommandLineコマンドで自分のスクリプトを記述してビルド時に実行できます。
PrometheusへのCamelメトリクスの公開 - 新しいパラメーター DockerにESBアーティファクトを公開している間に-Dstudio.prometheus.metrics=trueパラメーターを使うことで、PrometheusにCamelメトリクスを公開し、デプロイされたルートの詳細を取得できるようになりました。
デバッグモード - 新しいパラメーター -Dstudio.talendDebug=trueパラメーターを使うことで、ログをさらに取得できるようになりました。このパラメーターはサポートチームと一緒にビルドの問題をデバッグする場合便利です。
ビルドの改良 Talend Studioプロジェクトの設定に応じて、ごみ箱にある全プロジェクト項目を継続的インテグレーションビルドから除外できるようになりました。