メイン コンテンツをスキップする 補完的コンテンツへスキップ

R2020-08の新機能

Big Data: 新機能

機能

説明

対象製品

CDH 6.x用の軽量の依存項目
CDH 6.xディストリビューションでジョブを実行する際、[Run] (実行)ビューの[Spark configuration] (Spark設定)タブにある[Use lightweight dependencies] (軽量の依存項目を使用)チェックボックスをオンにすれば、ジョブが起動するまでの時間を短縮できます。これによってライブラリーの数をTalendライブラリーのみに減らせます。そのため、依存項目に関する問題(署名がない、JARのバージョンが間違っている、JARがないなど)の問題を回避できます。このオプションでは、[Usecustom classpath] (カスタムクラスパスを使用)チェックボックスをオンにし、使用したいJARをコンマ区切りの正規表現構文で入力することで、Clouderaのデフォルトのものとは異なるクラスパスを使用できます。

Big Dataを伴うTalendの全製品

出力コンポーネントのスキーマでの精度のカスタマイズ 以下のコンポーネントの出力スキーマをアップデートする際、BigDecimal型の標準とは異なる精度を選択できるようになりました。
  • tDeltaLakeOutput
  • tFileOutputDelimited
  • tFileOutputParquet
  • tHiveOutput

Big Dataを伴うTalendの全製品

tS3Configuration: EMRFSでのDynamoDBテーブル名の設定 EMRFS整合性ビューオプションを使用する場合は、使用するメタデータDynamoDBテーブル名を入力できます。

Big Dataを伴うTalendの全製品

tDeltaLakeInput and tDeltaLakeOutput: データの保存で利用できる新しいパス データを保存する場合に、DBFS (ADLS Gen2またはS3)ではないファイルシステムへの外部パスを指定できます。

Big Dataを伴うTalendの全製品

tDeltaLakeOutput:Actionプロパティに新しく追加された操作 テーブルをドロップすると、そのテーブルがいちど削除された後に再作成されます。また、テーブルを切り詰めればスキーマを残したままデータを削除することもできます。

Big Dataを伴うTalendの全製品

tDeltaLakeOutput:[Basic settings] (基本設定)ビューに追加された新しい最適化プロパティ DatabricksでDelta Lakeデータのレイアウトを最適化できます。

Big Dataを伴うTalendの全製品

Spark BatchジョブとSpark StreamingジョブでのHadoop設定ファイルの使用 設定JARファイルを使ってSpark BatchとSpark StreamingジョブをリポジトリーにあるHadoopクラスターに接続できます。このファイルへのパスは、ジョブのSpark構成かHadoopクラスター構成で指定します。このオプションは、クラウドではないディストリビューションのYarnクラスターとYarnクライアントの両方で利用できます。オプションとして、この接続パラメーターをコンテキスト化すれば、ジョブを実行する環境に基づいて適切なクラスターに自動的に接続できるようになります。

Big Dataを伴うTalendの全製品

EMR 5.23以降に対する高可用性のサポート

バージョンが5.23以降のAmazon EMRディストリビューションでTalend Jobsを実行する場合は高い可用性を利用できます。クラスター内に複数のマスターノードを存在させることができるようになりました。

Big Dataを伴うTalendの全製品

Data Integration: 新機能

機能

説明

対象製品

tDataprepRunの強化 tDataprepRunコンポーネントが、ダイナミックスキーマを使って新しいプレパレーションを作成する際にエラーメッセージを表示するようになりました。

Talendの全製品(ただしTalend ESBを除く)

tELTMap enhancement tELTMapコンポーネントのELT Mapエディターで、出力カラムに複数行の式を入力し、新しいポップアップダイアログボックスでCtrl+Spaceを押すことで、入力カラム、出力カラム、コンテキスト変数といった候補にアクセスできるようになりました。

Studio Talendを伴うTalendの全製品

POM生成の強化 Mavenビルド用のPOMファイルの生成で、[Exclude deleted items] (削除された項目を除外)という新しいオプションが利用できるようになりました。このオプションを選択すると、削除された項目のモジュールは現在のプロジェクトのPOMファイルから除外され、削除されたテストケースのソースは生成されません。
情報メモ注: このオプションの新しい設定を適用する場合はPOMファイルを再同期する必要があります。

Studio Talendを伴うTalendの全製品

Talendタイプマッピングの強化 Talendタイプマッピングファイルの日付タイプごとにデフォルトのパターンを設定できるようになりました。これにより、テーブルからスキーマを取得したり推測したりする際に、日付タイプのカラムの日付パターンを自動的に設定できるようになります。

Studio Talendを伴うTalendの全製品

tSSHライブラリーのアップグレード

Ganymedは非推奨となり、コンポーネントが新しいライブラリーであるApache mina-sshdをサポートするようになりました。

Studio Talendを伴うTalendの全製品

tSalesforceInput: 新しく追加されたクエリーモード

tSalesforceInput コンポーネントではBulkV2クエリーモードが提供されています。これによってさらに大量のデータでクエリーを実行できます。このコンポーネントではBulkV2 モード用に[Split query results into small sets] (クエリー結果を小さなセットに分割)オプションも提供されておいるので、クエリー結果を特定サイズのセットに分割するこも可能です。

Studio Talendを伴うTalendの全製品

スキーマで定義された日付パターンを使って日付をフォーマット

tSnowflakeOutputコンポーネントとtSnowflakeOutputBulkExecコンポーネントでは、[Use schema date pattern] (スキーマの日付パターンを使用)オプションが提供されています。これによって、スキーマで定義された日付パターンを使って日付をフォーマットできます。

Studio Talendを伴うTalendの全製品

tSnowflakeInput: オプションの名称変更と機能向上

[Allow Snowflake to convert columns and tables to uppercase] (Snowflakeによるカラムとテーブルの大文字への変換を許可)オプションの機能が強化され、その名称も[Use unquoted object identifiers] (引用符で囲まれていなオブジェクト識別子を使用)に変更されました。

Studio Talendを伴うTalendの全製品

tFTPRename: テーブルのカラム名の固定

tFTPRenameコンポーネントが[Files] (ファイル)フィールドにあるファイル名のみをサポートするようになり、Filemaskというカラム名がFilenameに変更されました。

Studio Talendを伴うTalendの全製品

tS3Connection: パススタイルのアクセスのサポート

tS3Connectionコンポーネントでパススタイルのアクセスがサポートされるようになりました。

Studio Talendを伴うTalendの全製品

tMongoDBOutput: データフィールドでカスタマイズできるアクション

[Upsert with set] (セットでアップサート)アクションで、フィールドのアップデート/挿入が可能かどうか指定できます。

Studio Talendを伴うTalendの全製品

Data Quality: 新機能

機能

説明

対象製品

Phone number standardization 電話番号を特定のリージョンで検証できるようになりました。
  • tStandardizePhoneNumberコンポーネントの新しいカラム: isValidPhoneNumberForRegion
  • 新しい電話番号統計指標: [Valid Phone Number for Region Count] (リージョンの数で有効な電話番号)

Googleのlibphonenumberライブラリーも最新版にアップデートされています。

TalendプラットフォームとData Fabricの全製品

Application Integration: 新機能

機能

説明

対象製品

マイクロサービス

CamelメトリクスがMicroservicesのPrometheusに公開され、ルートの実行、JVMのメモリ、CPUの消費などを監視できるようになりました。

ESBを伴うTalendの全製品

継続的インテグレーション: 新機能

機能

説明

対象製品

POMファイルの生成 - 新しいパラメーター mvn org.talend.ci:builder-maven-plugin:7.3.3:generateAllPomsコマンドを使えば、プロジェクトをビルドする前にそのプロジェクトの.pomファイルをすべて再生成できます。また、製品の移行に先がけて新しいバージョンをテストする場合にも便利です。

Studio Talendを伴うTalendの全製品

カスタムスクリプト - 新しいパラメーター mvn org.talend.ci:builder-maven-plugin:7.3.3:executeScriptコマンドを使えば、CommandLineコマンドで自分のスクリプトを記述してビルド時に実行できます。

Studio Talendを伴うTalendの全製品

PrometheusへのCamelメトリクスの公開 - 新しいパラメーター DockerにESBアーティファクトを公開している間に-Dstudio.prometheus.metrics=trueパラメーターを使うことで、PrometheusにCamelメトリクスを公開し、デプロイされたルートの詳細を取得できるようになりました。

ESBを伴うTalendの全製品

デバッグモード - 新しいパラメーター -Dstudio.talendDebug=trueパラメーターを使うことで、ログをさらに取得できるようになりました。このパラメーターはサポートチームと一緒にビルドの問題をデバッグする場合便利です。

Studio Talendを伴うTalendの全製品

ビルドの改良 Studio Talendプロジェクトの設定に応じて、ごみ箱にある全プロジェクト項目を継続的インテグレーションビルドから除外できるようになりました。

Studio Talendを伴うTalendの全製品

このページは役に立ちましたか?

このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。