R2021-10の新機能 | Talendリリースノートヘルプ

Big Data: 新機能

機能	説明	対象製品
Spark 3.0でのAzure Synapseディストリビューションのサポート	Apache Sparkプールを含むAzure Synapse Analyticsを、YARNクラスターモードのSpark 3.0でのみ、Spark BatchおよびSpark Streamingジョブ用の新しいディストリビューションとして使えるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。詳細は、Azure Synapse Analyticsの接続パラメーターを定義をご覧ください。 Azure Synapse Analyticsによって、さまざまな分析エンジンを使い、データを処理できるようになります。Apache Sparkプールでは、さまざまな計算機能(速度や効率など)およびADLS Gen2ストレージとの互換性があります。この機能の一般利用が可能になりました。	Big Dataを伴うTalendの全製品
Cloudera CDP 7.1.xでのHive Warehouse Connectorのサポート	Hive Warehouse Connectorを使って、以下の新しいコンポーネントが含まれているSpark BatchジョブでHiveトランザクション管理対象テーブルから/にデータを取得するか、データを書き込むことができるようになりました: tHiveWarehouseConfiguration: 同じジョブでHiveへのHive Warehouse Connectorの接続設定を再利用できます。 tHiveWarehouseInput: Hiveからデータを抽出し、Hive Warehouse Connectorを使って、後続するコンポーネントにデータを送信します。 tHiveWarehouseOutput: 特定のHiveデータベースに接続して、Hive Warehouse Connectorを使って、受信したデータを特定のHiveテーブルまたはHDFS内のディレクトリーに書き込みます。 Hive Warehouse Connectorを使うと、Studio Talendでは、データに対してより最適なトランザクション制御ができるHiveトランザクション管理対象テーブルはサポートされます。	Big Dataを伴うTalendの全製品

機能

説明

対象製品

Spark 3.0でのAzure Synapseディストリビューションのサポート

Apache Sparkプールを含むAzure Synapse Analyticsを、YARNクラスターモードのSpark 3.0でのみ、Spark BatchおよびSpark Streamingジョブ用の新しいディストリビューションとして使えるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューまたは[Hadoop Cluster Connection] (Hadoopクラスター接続)メタデータウィザードのどちらかで設定できます。詳細は、Azure Synapse Analyticsの接続パラメーターを定義をご覧ください。

Azure Synapse Analyticsによって、さまざまな分析エンジンを使い、データを処理できるようになります。Apache Sparkプールでは、さまざまな計算機能(速度や効率など)およびADLS Gen2ストレージとの互換性があります。

この機能の一般利用が可能になりました。

Big Dataを伴うTalendの全製品

Cloudera CDP 7.1.xでのHive Warehouse Connectorのサポート

Hive Warehouse Connectorを使って、以下の新しいコンポーネントが含まれているSpark BatchジョブでHiveトランザクション管理対象テーブルから/にデータを取得するか、データを書き込むことができるようになりました:

tHiveWarehouseConfiguration: 同じジョブでHiveへのHive Warehouse Connectorの接続設定を再利用できます。
tHiveWarehouseInput: Hiveからデータを抽出し、Hive Warehouse Connectorを使って、後続するコンポーネントにデータを送信します。
tHiveWarehouseOutput: 特定のHiveデータベースに接続して、Hive Warehouse Connectorを使って、受信したデータを特定のHiveテーブルまたはHDFS内のディレクトリーに書き込みます。

Hive Warehouse Connectorを使うと、Studio Talendでは、データに対してより最適なトランザクション制御ができるHiveトランザクション管理対象テーブルはサポートされます。

Big Dataを伴うTalendの全製品

Data Integration: 新機能

機能	説明	対象製品
tWorkdayInput: X.509証明書のサポート	tWorkdayInputコンポーネントでは、X.509証明書を使って、メッセージを保護できる、[WS Security with certificate authentication] (証明書認証によるWS Security)という名前の新しいWS-Securityタイプオプションが追加されました。	Studio Talendを伴うTalendの全製品
tSnowflakeOutputBulk、tSnowflakeBulkExec、tSnowflakeOutputBulkExec: AWS IAMロールに関連付けられるアクセス権を取得	tSnowflakeOutputBulkコンポーネント、tSnowflakeBulkExecコンポーネント、tSnowflakeOutputBulkExecコンポーネントでは、AWS IAMロールに関連付けられるアクセス権を取得できる[S3 assume role] (S3ロールを引き受け)オプションが追加されました。	Studio Talendを伴うTalendの全製品
tSnowflakeBulkExecとtSnowflakeOutputBulkExec:COPYコマンド認証での新しいオプション	tSnowflakeBulkExecコンポーネントとtSnowflakeOutputBulkExecコンポーネントのCOPYコマンド認証で、[Snowflake access to storage] (Snowflakeストレージへのアクセス)ドロップダウンリストが追加されました。このドロップダウンリストはCOPYコマンド認証で使われます。	Studio Talendを伴うTalendの全製品
tFileOutputExcel: ストリーミングモードでデータを追加	tFileOutputExcelコンポーネントでは、選択された場合に、ストリーミングモードでデータを既存のファイルに書き込める[Streaming append] (ストリーミングによる追加)オプションが追加されました。このオプションは、制限されたメモリサイズで大量のデータを書き込む時に、パフォーマンスの向上に役立ちます。	Studio Talendを伴うTalendの全製品
tSalesforceInputとtSalesforceOutput: 日時データ型のUTC時間を使用	tSalesforceInputコンポーネントとtSalesforceOutputコンポーネントでは、選択された場合に、日時タイプであるカラムのUTC時間を使う[Use UTC time for datetime] (日時のUTC時間を使用)オプションは追加されました。このオプションが選択されていない場合は、ローカルタイムが使用されます。	Studio Talendを伴うTalendの全製品
利用できる新コンポーネント	今回のリリースで、次の新しいコンポーネントが追加されました: ORC形式であるファイルへのアクセスを可能にするtFileInputORCとtFileOutputORC。指定されたアプリケーションのCyberArkによって管理されるログイン情報を取得して、必要とする次のコンポーネントに情報を渡すtCyberarkInput。このコンポーネントは、認証情報の露出の防止によって、管理対象アプリケーションのセキュリティを改善することに役立ちます。	Studio Talendを伴うTalendの全製品
Google Driveコンポーネント: 共有ファイル、フォルダー、ドライブの新しいサポート	[Advanced settings] (詳細設定)ビューに、共有ファイル、フォルダー、ドライブにアクセスできる[Include shared folders/files] (共有フォルダー/ファイルを含める)オプションと[Include shared drives] (共有ドライブを含める)が追加されました。ファイルとフォルダー検索の範囲を絞り込む[Corpora type] (Corporaタイプ)オプションが追加されました。これらのオプションは tGoogleDriveCopy、tGoogleDriveCreate、tGoogleDriveDelete、tGoogleDriveGet、tGoogleDriveList、tGoogleDrivePutで使用できます。	Studio Talendを伴うTalendの全製品
tGoogleDriveList: 検索をカスタマイズする新しいクエリーを使用するオプション	[Advanced settings] (詳細設定)ビューに、特定のファイルとフォルダーを検索できる[Use query] (クエリーを使用)オプションは追加されました。	Studio Talendを伴うTalendの全製品

Data Quality: 新機能

機能	説明	対象製品
レポートでのブロッキングキーとマッチングキーに関する情報	レポートに、ブロッキングキーとマッチングキーの詳細を取得するテーブルは2つ追加されました。	TalendプラットフォームとData Fabricの全製品