R2021-08の新機能 - 7.3

Talend Data Fabricリリースノート

Version
7.3
Language
日本語 (日本)
EnrichDitaval
Data Fabric
Product
Talend Data Fabric
Content
インストールとアップグレード
リリースノート

Big Data: 新しい機能

機能

説明

Spark 3.0でのAzure Synapseディストリビューションのサポート(テクニカルプレビュー)

Apache Sparkプールを含むAzure Synapse Analyticsを、YARNクラスターモードのSpark 3.0でのみ、Spark BatchおよびSpark Streamingジョブ用の新しいディストリビューションとして使えるようになりました。Sparkジョブの[Spark configuration] (Spark設定)ビューでこれを設定できます。詳細は、Azure Synapse Analytics接続パラメーターを定義をご覧ください。

Azure Synapse Analyticsによって、さまざまな分析エンジンを使い、データを処理できるようになります。Apache Sparkプールでは、さまざまな計算機能(速度や効率など)およびADLS Gen2ストレージとの互換性があります。

重要: この機能はテクニカルプレビューの段階にあるため、本番環境での使用には適していません。
tMap結合条件の詳細な式
tMapコンポーネントのマップエディターにある[Filter] (フィルター)式エリアを使い、Dataset APIを使ってSpark Batchジョブ内の結合条件の詳細な式を入力できます。この機能によって、以下の式を使って、結合条件からデータをフィルタリングできるようになります:
  • <><=>===演算子のいずれかを含む単純式
  • ||演算子または&&演算子を含む単純式を複数組み合わせる複雑な式
たとえば、日付では複雑な式を使えます:

Data Integration: 新しい機能

機能

説明

複数のプロジェクトアイテムの古いバージョンを削除するサポート

[Project Settings] (プロジェクト設定)ダイアログボックスにある[General] (一般) > [Version Management] (バージョン管理)ノードの下に[Cleanup] (クリーンアップ)ビューが追加され、それによって

  • 複数プロジェクトアイテムの古いバージョンをすべて削除して、一番最新のバージョンのみを保持するか、
  • 複数プロジェクトアイテムの特定のバージョン以下の古いバージョンをすべて削除できます。
警告: ジョブ、ジョブレット、ルート、ルートレットの古いバージョンを削除する時に依存項目のチェックは行われません。ブランチで削除とクリーンアップの検証を行うことをお勧めします。

tCouchbaseInput: N1QL for Analyticsステートメントのサポート

tCouchbaseinputコンポーネントでは、[Query type] (クエリータイプ)ドロップダウンリストに[N1QL for Analytics]オプションが追加されるようになりました。このオプションによって、N1QL for Analyticsステートメントを使って、半構造化データをクエリーできるようになります。

tSQSOutput: メッセージIDを取得して後続のコンポーネントに渡す

tSQSOutputコンポーネントは、受信したメッセージのIDを取得して、メッセージIDを後続のコンポーネントに渡すことができるようになりました。出力スキーマにMessageIDカラムを追加すれば、実現されます。この関数は、[Use batch mode] (バッチモードを使用)オプションが消去されている場合にアクセスできます。

tAzureStoragePut:+記号の使用

tAzureStoragePutコンポーネントでは、選択されていると[Files] (ファイル)フィールドで+記号を標準文字として扱う[Allow to escape the '+' sign in filemask] (ファイルマスクに含まれる'+'記号のエスケープを許可)オプションが追加されるようになりました。このオプションが選択されていないと、+記号は正規表現演算子として扱われます。

tSAPTableInput: 文字列NUMC

tSAPTableInputコンポーネントでは、選択されているとダイナミックカラムでNUMCタイプを文字列として扱う[Read NUMC data as string in the dynamic column] (ダイナミックカラムでNUMCデータを文字列として読み取る)オプションが追加されるようになりました。このオプションが選択されていないと、NUMCタイプのデータは整数として扱われます。

MongoDBコンポーネント: MongoDB 4.4.xバージョン以降のSCRAM-SHA-256 SASL認証メカニズムのサポート

MongoDBコンポーネントでは、MongoDB 4.4.x以降のバージョンが使用される場合にSCRAM-SHA-256 SASL認証メカニズムがサポートされるようになりました。関連情報は、認証メカニズムを参照してください。

使用されるSAP接続を指定

tSAPTableInputコンポーネントとtELTSAPMapコンポーネントでは、使用されるSAP接続のIDを指定できる[Connection id] (接続ID)フィールドが追加されるようになりました。SAP接続IDは、SAP接続設定ファイルの名前です。

このフィールドは、Patch_20210820_TDI-45536_v1-7.3.1というSAP RFCサーバーパッチが適用されることを必要としています。このパッチにによって、SAP RFCサーバーを使って、複数のSAP接続を確立できるようになります。SAP RFCサーバーとSAP接続の設定に関する情報は、RFCサーバーを設定を参照してください。

tSAPDataSourceReceiverとtSAPIDocReceiver: パートナーホスト情報を処理する機能

tSAPDataSourceReceiverコンポーネントとtSAPIDocReceiverでは、パートナーホスト情報を処理する機能が追加されるようになりました。情報はメッセージが受信されるSAP接続を識別します。

  • tSAPDataSourceReceiverコンポーネントでは、そのスキーマにpartnerHostという名前の新しい事前定義されたカラムが追加されます。
  • tSAPIDocReceiverコンポーネントによって、抽出するメッセージのヘッダーにパートナーホスト情報が挿入されます。

このフィールドは、Patch_20210820_TDI-45536_v1-7.3.1というSAP RFCサーバーパッチが適用されることを必要としています。このパッチにによって、SAP RFCサーバーを使って、複数のSAP接続を確立できるようになります。SAP RFCサーバーとSAP接続の設定に関する情報は、RFCサーバーを設定を参照してください。

新しいコンポーネント

今回のリリースで、次の新しいコンポーネントが追加されました: tFileInputParquetとtFileOutputParquet