R2020-05の新機能 - 7.3

Talend Data Fabricリリースノート

EnrichVersion
7.3
EnrichProdName
Talend Data Fabric
task
インストールとアップグレード
リリースノート

Big Data

機能

説明

EMR 5.29のサポート バージョン5.29のAmazon EMRディストリビューションでTalend Jobsを実行できます。
新しいデータによる既存のDelta Lakeテーブルのアップサート tDeltaLakeOutputにデータセットを保存するよう設定する時は、[Merge] (マージ)を選択し、データフローか別のDelta Lakeテーブルからの新しいデータを使って、既存のDelta Lakeテーブルをアップサートします。マージするカラムとそのマージの実行方法を設定できるフィールドが新たに追加されました。
EMRクラスターでのデータ整合性 tS3Configurationを使う場合は、[Use EMRFS consistent view] (EMRFS整合性ビューの使用)オプションを有効にしてEMRファイルシステム(EMRFS)整合性ビューを使用できます。このオプションによってEMRクラスターは、EMRFSによって書き込まれたりEMRFSと同期したAmazon S3オブジェクトのリストや書き込み後の読み取り整合性をチェックできるようになります。
tHiveConfigurationでのSparkカタログ設定 tHiveConfigurationの設定では、Sparkカタログプロパティを使ってSparkの実装を示す必要があります。選択する値はHiveメタストアがクラスターの外部にあるかどうかによって異なります。この設定によって実行時のエラーを回避できます。このプロパティを使用できるのはSpark Batchジョブのみです。
Oracle 19cのサポート 次のビッグデータコンポーネントでOracle 19cがサポートされるようになりました。
Sparkバッチ:
  • tOracleConfiguration
  • tOracleInput
  • tOracleOutput
Sparkストリーミング:
  • tOracleConfiguration
  • tOracleLookupInput
  • tOracleOutput
DynamoDBコンポーネントにおける[Assume Role] (ロールの引き受け)の詳細設定 tDynamoDBInputコンポーネントとtDynamoDBOutputコンポーネントで[Assume Role] (ロールの引き受け)オプションを有効にすれば、[Advanced settings] (詳細設定)ビューで次のプロパティを構成して自分の設定を微調整できるようになります。
  • Signing region (サインインリージョン) (必須)
  • External Id (外部ID)
  • Serial number (シリアル番号)
  • [Token code] (トークンコード)
  • Tags (タグ)
  • IAM Policy ARNs (IAMポリシーARN)
  • Policy (ポリシー)
セカンダリーインデックスからのデータへのアクセス tDynamoDBInputコンポーネントを使ってテーブルからデータを取得する時は、コンポーネント設定でセカンダリーインデックスを指定すればクエリーやスキャンのパフォーマンスを向上させることができます。

Data Integration

機能

説明

リモートTAC接続の向上 ADパスワードが変更された場合、LDAPを使用するユーザーはTalend Studioで新しいログイン認証情報を要求されます。
タイトルバーの改良 パッチをインストールすると、タイトルバーにあるTalend Studioのタイトルが更新され、そのパッチのバージョン情報が表示されるようになります。
AWS SDKドライバーのアップグレード Talend Studioメタデータ内にあるRedshift SSO接続用のAWS SDKドライバーがアップグレードされました。
コンテキストのプロパゲート機能の強化 Data Integrationパーツで、参照プロジェクトにおけるコンテキストのプロパゲートが強化されました。参照プロジェクトでいずれかのコンテキスト変数が更新されると、メインプロジェクトに自動で同期されるようになりました。
[Assume Role] (ロールの引き受け)の詳細設定 [Assume Role] (ロールの引き受け)オプションを有効にすれば、[Advanced settings] (詳細設定)ビューで次のプロパティを構成して自分の設定を微調整できるようになります。
  • Signing region (サインインリージョン) (必須)
  • External Id (外部ID)
  • Serial number (シリアル番号)
  • [Token code] (トークンコード)
  • Tags (タグ)
  • IAM Policy ARNs (IAMポリシーARN)
  • Policy (ポリシー)
この機能強化は次のコンポーネントを対象としています。
  • tAmazonEMRListInstances、tAmazonEMRManage、tAmazonEMRResize、tAmazonRedshiftManage
  • tRedshiftOutputBulk、tRedshiftOutputBulkExec
  • tS3BucketCreate、tS3BucketDelete、tS3BucketExist、tS3BucketList、tS3Connection、tS3Copy、tS3Delete、tS3Get、tS3List、tS3Put
  • tSQSConnection、tSQSInput、tSQSMessageChangeVisibility、tSQSMessageDelete、tSQSOutput、tSQSQueueAttributes、tSQSQueueCreate、tSQSQueueDelete、tSQSQueueList、tSQSQueuePurge
コンポーネント名の変更 tSQLDWHのコンポーネント名が変更されました。詳しい変更は次のとおりです。
  • tSQLDWHBulkExecからtAzureSynapseBulkExecへ
  • tSQLDWHCloseからtAzureSynapseCloseへ
  • tSQLDWHCommitからtAzureSynapseCommitへ
  • tSQLDWHConnectionからtAzureSynapseConnectionへ
  • tSQLDWHInputからtAzureSynapseInputへ
  • tSQLDWHOutputからtAzureSynapseOutputへ
  • tSQLDWHRollbackからtAzureSynapseRollbackへ
  • tSQLDWHRowからtAzureSynapseRowへ
Azure Data Lake Storage Gen2 Azure SynapseコンポーネントでAzure Data Lake Storage Gen2がサポートされるようになりました。tAzureSynapseBulkExecコンポーネントを使えば、[Basic settings] (基本設定)ビューの[Azure Storage] (Azureストレージ)ドロップダウンリストで[Data Lake Storage Gen2] オプションを、[Advanced settings] (詳細設定)ビューで[Secure transfer required] (セキュアな転送が必要)オプションをそれぞれ利用できるようになります。[Azure Storage] (Azureストレージ)ドロップダウンリストにある既存の[Data Lake Store]オプションは[Data Lake Storage Gen1]へと変更されました。
tELTTeradataMap: 関係演算子の更新 ELT Teradata Map Editorでは、=<=<>=><> という演算子が使用されます。次の図のように、これまで対応していた EQLELTGEGTNEといった演算子は非推奨となりました。
変更前:
変更後:
Azure Active Directory認証のサポート 次のコンポーネントを使って接続を確立する時にAzure Active Directory認証を使用できるようになりました。
  • tAzureSynapseBulkExec、tAzureSynapseConnection、tAzureSynapseInput、tAzureSynapseOutput、tAzureSynapseRow
  • tELTMSSqlMap
  • tMSSqlBulkExec、tMSSqlConnection、tMSSqlInput、tMSSqlOutput、tMSSqlOutputBulkExec、tMSSqlRow、tMSSqlSCD、tMSSqlSP
  • tCreateTable
tAzureSynapseBulkExec: データのロードにおけるCOPYステートメントのサポート

データをロードする場合にtAzureSynapseBulkExecでCOPYステートメントがサポートされるようになり、このコンポーネントに次の変更が加えられました。

[Basic settings] (基本設定)ビューで:
  • [Load method] (ロード方式)ドロップダウンリスト(新規)
  • [Azure storage] (Azureストレージ)ドロップダウンリスト(更新)
  • [Authentication method] (認証方式)ドロップダウンリスト(新規)
  • [SAS token] (SASトークン)フィールド(新規)
  • [Endpoint suffix] (エンドポイントサフィックス)フィールド(新規)
  • [External paths] (外部パス)オプション(新規)
[Advanced settings] (詳細設定)ビューで:
  • [File type] (ファイルタイプ)ドロップダウンリスト(新規)
  • [Specify map to source table fields] (ソーステーブルフィールドにマップを指定) オプション(新規)
  • [First row] (最初の行)フィールド(新規)
  • [Field quote] (フィールドクオート)フィールド(新規)
  • [Field terminator] (フィールドターミネーター)フィールド(新規)
  • [Row terminator] (行ターミネーター)フィールド(新規)
  • [Date format] (日付形式)ドロップダウンリスト(新規)
  • [Encoding] (エンコーディング)ドロップダウンリスト(新規)
  • [Identity insert] (ID挿入)オプション(新規)
  • [Max errors] (最大エラー数)フィールド(新規)
  • [Compressed by] (圧縮方式)ドロップダウンリスト(更新)

Data Quality

機能 説明
コンポーネント AzureとAWSのDatabricksで、tMatchIndextMatchIndexPredictを除くすべてのData Qualityコンポーネントを実行できるようになりました。

この2つのコンポーネントはElasticsearch認証をサポートしていないため、Databricksでは実行できません。

ESB

機能 説明
RESTサービス コンテキスト変数が完全にサポートされ、データサービスとルートでのRESTサービスプロバイダーとコンシューマーエンドポイントで使用できるようになりました。
マイクロサービス マイクロサービスがPrometheusにメトリックを提供できるようになりました。