R2021-03の新機能 - 7.3

Talend Data Fabricリリースノート

EnrichVersion
7.3
EnrichProdName
Talend Data Fabric
task
インストールとアップグレード
リリースノート

Big Data: 新しい機能

機能

説明

Spark 3.0コンポーネントを使ったDatabricks 7.3 LTSのサポート
AWSとAzureの両方でDatabricks 7.3 LTSディストリビューションでSpark 3.0を使い、対話型クラスターと一時クラスター用にSpark BatchジョブとSpark Streamingジョブを実行できるようになりました。以下のコンポーネントがサポートされています:
  • tAvroInputとtAvroOutput
  • tAzureFSConfiguration
  • tFileInputDelimitedとtFileOutputDelimited
  • tFileInputJSONとtFileOutputJSON
  • tFileInputParquetとtFileOutputParquet
  • tFileInputXMLとtFileOutputXML
  • tFixedFlowInput
  • tLogRow
  • tS3Configuration

この機能はテクニカルプレビューではなくなりました。

AWSでのCDPパブリッククラウドデータハブのサポート Cloud Management ConsoleでのAWSのCDPパブリッククラウドデータハブのインスタンスを設定し、Talend Studioのリモートジョブサーバーでジョブを実行できるようになりました。それにより、必要に応じて(AWS用のデータエンジニアリングやデータ検出と探索など)データハブクラスター定義を直接選択し、クラスターを設定できます。次に、そのクラスターからTalend Studioに設定ファイルをすべてインポートし、ジョブを起動するだけで済みます。

この機能ではクラウドクラスターの柔軟性をCDPパブリッククラウドで直接に活用できます。

Spark BatchジョブのGoogle Cloud PlatformディストリビューションのためのサービスアカウントとOAuth2アクセストークン認証のサポート Spark BatchジョブでDataproc 1.4バージョンを使用し、サービスアカウントまたはOAuth2アクセストークンをGoogle Cloud Platformの認証に使えるようになりました。これらの認証方法はSpark Batchジョブの[Spark configuration] (Spark設定)ビューで使用できます。
Sparkジョブ内のtCollectAndCheckコンポーネントのアップデート Sparkジョブで、tCollectAndCheckを使ったデータ入力を直接に確認できるようになりました。サポートされる入力のタイプは次のとおりです:
  • [Text] (テキスト)
  • Parquet
  • MySQL
  • Hive
  • デルタ
  • Snowflake
  • Redshift
  • JDBC
  • HBase
Spark Batchジョブでは、コンポーネントは次のように接続されます:

コンポーネントは、Spark Batchジョブでの行数が一致していることと行の値が正しいことを確認します。

Spark Streamingジョブの場合、コンポーネントは次のようにタイムアウト後にジョブ実行の最後のデータを確認します:

コンポーネントは値が正しいことを確認します。Spark Streamingジョブでは、入力がNullでも、または一意ではない行も受け入れらます。

Data Integration: 新しい機能

機能

説明

コード依存項目管理の強化 Talend Studioでは、カスタムルーチンjarを作成し、カスタムルーチンjarに複数のユーザーをパッケージして、ジョブとジョブレットにカスタムルーチンjar依存項目を設定できるようになりました。

ジョブとジョブレットにカスタムルーチン依存項目を設定すると、ジョブとジョブレットのコード依存項目がより明示的になり、依存項目の競合を防げます。

注: デフォルトでは、Talend Studioの前のバージョンから移行されたユーザールーチンは新しい[Code] (コード)[Global Routines] > (グローバルルーチン)ノードの下に保存されます。
tELTOracleMapの強化 tELTOracleMapコンポーネントのELT Mapエディターで[Property Settings] (プロパティ設定)という新しいダイアログボックスが追加されました。このダイアログボックスには次の2つのオプションが含まれています。
  • [Delimited identifiers] (区切り識別子): このチェックボックスをオンにすると、すべての出力カラム名に二重引用符が追加され、区切り識別子をサポートされるようになります。
  • [Automatic alias] (自動エイリアス): このチェックボックスが選択された場合、スキーマカラム名がデータベースカラム名と異なれば、SQLクエリーでそのカラム用のエイリアスが自動作成されます。
Gitの競合解決機能でのtELTMapの強化 Talend Studioでは、ジョブ比較エディターにあるtELTMapの競合比較がサポートされるようになりました。
Google Driveコンポーネント: 新しい読み取りタイムアウトオプション [Advanced settings] (詳細設定)ビューに[Read Timeout] (読み取りタイムアウト)オプションが追加されました。
このオプションはtGoogleDriveConnection、tGoogleDriveCopy、tGoogleDriveCreate、tGoogleDriveDelete、tGoogleDriveGet、tGoogleDriveList、tGoogleDrivePutで使用できます。
MongoDBコンポーネントとCosmosDBコンポーネント用のMongo DB 4.4 APIのサポート MongoDBコンポーネントとCosmosDBコンポーネントをMongoDB 4.4バージョンに接続できるようになりました。
標準ジョブ内のMongoDBコンポーネントとCosmosDBコンポーネントのためのパフォーマンスの強化 標準ジョブでは、MongoDBコンポーネントとCosmosDBコンポーネントが次のオプションを提供するようになりました:
  • 入力コンポーネントの場合は、[Specify fields to return] (返すフィールドを指定)オプションを使用し、ドキュメントのデータベースから返されるフィールドのセットを定義できるようになりました。
  • 出力コンポーネントの場合は、データのアクションを実行したい時に、[Delete all documents] (ドキュメントをすべて削除)オプションを使い、使用するコレクション内のドキュメントをすべて削除できるようになりました。

新しいSingleStoreコンポーネント

次の3つの新しいSingleStoreコンポーネントを使用できるようになりました。これらのコンポーネントによって、データベーステーブルにデータをロードする場合のパフォーマンスが向上します。

  • tSingleStoreBulkExec
  • tSingleStoreOutputBulk
  • tSingleStoreOutputBulkExec

S3リソースにAWS定義済み権限を付与する新しいオプション

次のコンポーネントに[Canned Access Control] (Cannedアクセス制御)という新しいオプションが追加され、S3リソースに事前定義された権限を付与できるようになりました:
  • tS3BucketCreate
  • tS3Copy
  • tS3Put

Data Mapper: 新しい機能

機能

説明

EDIFACTインポーター UN/EDIFACT仕様をZIPファイルとしてインポートし、ストラクチャーを作成できるようになりました。Talend Data Mapperでは、リリースD.96A以降の仕様がサポートされます。
[Distinct Child Element] (個別の子エレメント)プロパティ内のXPath関数 [SimpleLoop] (単一ループ)関数では、[Distinct Option] (個別オプション)フィールドにある[Element XPath] (エレメントXPath)を選択すれば、XPath関数を使用して重複を除いた値を定義できるようになりました。

ESB: 新しい機能

機能

説明

コード依存項目管理の強化 Talend Studioで、カスタムBean jarとカスタムルーチンjarを作成し、カスタムBean jarまたはルーチンjarに複数のBeanまたはユーザールーチンをバンドルし、ルートとルートレットにカスタムBean jar依存項目またはルーチンjar依存項目を設定できるようになりました。
ルートとルートレットにカスタムBean jarまたはルーチン依存項目を設定すると、コード依存項目がより明示的になり、依存項目の競合を防げます。