R2021-10の新機能 - 7.3

Talend Data Fabricリリースノート

Version
7.3
Language
日本語 (日本)
EnrichDitaval
Data Fabric
Product
Talend Data Fabric
Content
インストールとアップグレード
リリースノート

Big Data: 新しい機能

機能

説明

Spark 3.0でのAzure Synapseディストリビューションのサポート

Apache Sparkプールを含むAzure Synapse Analyticsを、YARNクラスターモードのSpark 3.0でのみ、Spark BatchおよびSpark Streamingジョブ用の新しいディストリビューションとして使えるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。詳細は、Azure Synapse Analyticsの接続パラメーターを定義をご覧ください。

Azure Synapse Analyticsによって、さまざまな分析エンジンを使い、データを処理できるようになります。Apache Sparkプールでは、さまざまな計算機能(速度や効率など)およびADLS Gen2ストレージとの互換性があります。

この機能の一般利用が可能になりました。

Cloudera CDP 7.1.xでのHive Warehouse Connectorのサポート Hive Warehouse Connectorを使って、以下の新しいコンポーネントが含まれているSpark BatchジョブでHiveトランザクション管理対象テーブルから/にデータを取得するか、データを書き込むことができるようになりました:
  • tHiveWarehouseConfiguration: 同じジョブでHiveへのHive Warehouse Connectorの接続設定を再利用できます。
  • tHiveWarehouseInput: Hiveからデータを抽出し、Hive Warehouse Connectorを使って、後続するコンポーネントにデータを送信します。
  • tHiveWarehouseOutput: 特定のHiveデータベースに接続して、Hive Warehouse Connectorを使って、受信したデータを特定のHiveテーブルまたはHDFS内のディレクトリーに書き込みます。

Hive Warehouse Connectorを使うと、Talend Studioでは、データに対してより最適なトランザクション制御ができるHiveトランザクション管理対象テーブルはサポートされます。

Data Integration: 新しい機能

機能

説明

tWorkdayInput: X.509証明書のサポート tWorkdayInputコンポーネントでは、X.509証明書を使って、メッセージを保護できる、[WS Security with certificate authentication] (証明書認証によるWS Security)という名前の新しいWS Securityタイプオプションが追加されました。
tSnowflakeOutputBulk、tSnowflakeBulkExec、tSnowflakeOutputBulkExec: AWS IAMロールに関連付けられるアクセス権を取得

tSnowflakeOutputBulkコンポーネント、tSnowflakeBulkExecコンポーネント、tSnowflakeOutputBulkExecコンポーネントでは、AWS IAMロールに関連付けられるアクセス権を取得できる[S3 assume role] (S3ロールを引き受け)オプションが追加されました。

tSnowflakeBulkExecとtSnowflakeOutputBulkExec: COPY コマンド認証の 新しいオプション

tSnowflakeBulkExecコンポーネントとtSnowflakeOutputBulkExecコンポーネントでは、COPYコマンド認証に使用される[Snowflake access to storage] (Snowflakeストレージへのアクセス)ドロップダウンリストが 追加されました

tFileOutputExcel: ストリーミングモードでデータを追加

tFileOutputExcelコンポーネントでは、選択された場合に、ストリーミングモードでデータを既存のファイルに書き込める[Streaming append] (ストリーミングによる追加)オプションが追加されました。このオプションは、制限されたメモリサイズで大量のデータを書き込む時に、パフォーマンスの向上に役立ちます。

tSalesforceInputとtSalesforceOutput: 日時データ型のUTC時間を使用

tSalesforceInputコンポーネントとtSalesforceOutputコンポーネントでは、選択された場合に、日時タイプであるカラムのUTC時間を使う[Use UTC time for datetime] (日時のUTC時間を使用)オプションは追加されました。このオプションが選択されていない場合は、ローカルタイムが使用されます。

利用できる新コンポーネント

今回のリリースで、次の新しいコンポーネントが追加されました:

  • ORC形式であるファイルへのアクセスを可能にするtFileInputORCtFileOutputORC
  • 指定されたアプリケーションのCyberArkによって管理されるログイン情報を取得して、必要とする次のコンポーネントに情報を渡すtCyberarkInput。このコンポーネントは、認証情報の露出の防止によって、管理対象アプリケーションのセキュリティを改善することに役立ちます。
Google Driveコンポーネント: 共有ファイル、フォルダー、ドライブの新しいサポート

[Advanced settings] (詳細設定)ビューに、共有ファイル、フォルダー、ドライブにアクセスできる[Include shared folders/files] (共有フォルダー/ファイルを含める)オプションと[Include shared drives] (共有ドライブを含める)が追加されました。ファイルとフォルダー検索の範囲を絞り込む[Corpora type] (Corporaタイプ)オプションが追加されました。

これらのオプションは tGoogleDriveCopy、tGoogleDriveCreate、tGoogleDriveDelete、tGoogleDriveGet、tGoogleDriveList、tGoogleDrivePutで使用できます。

tGoogleDriveList: 検索をカスタマイズする新しいクエリーを使用するオプション

[Advanced settings] (詳細設定)ビューに、特定のファイルとフォルダーを検索できる[Use query] (クエリーを使用)オプションは追加されました。

Data Quality: 新しい機能

機能

説明

レポートでのブロッキングキーとマッチングキーに関する情報 レポートに、ブロッキングキーとマッチングキーの詳細を取得するテーブルは2つ追加されました。