R2020-05の新機能 - Cloud - 7.3

Talendリリースノート

Version
Cloud
7.3
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud API Services Platform
Talend Cloud Big Data
Talend Cloud Big Data Platform
Talend Cloud Data Integration
Talend Cloud Data Management Platform
Talend Cloud Real-Time Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Cloud API Designer
Talend Cloud API Tester
Talend Cloud Data Inventory
Talend Cloud Data Preparation
Talend Cloud Data Stewardship
Talend Cloud Management Console
Talend Cloud Pipeline Designer
Talend Data Preparation
Talend Data Stewardship
Talend Studio
Content
インストールとアップグレード
リリースノート
Last publication date
2023-09-13

Big Data

機能

説明

対象製品

EMR 5.29のサポート バージョン5.29のAmazon EMRディストリビューションでTalend Jobsを実行できます。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

新しいデータによる既存のDelta Lakeテーブルのアップサート tDeltaLakeOutputにデータセットを保存するよう設定する時は、[Merge] (マージ)を選択し、データフローか別のDelta Lakeテーブルからの新しいデータを使って、既存のDelta Lakeテーブルをアップサートします。マージするカラムとそのマージの実行方法を設定できるフィールドが新たに追加されました。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

EMRクラスターでのデータ整合性 tS3Configurationを使う場合は、[Use EMRFS consistent view] (EMRFS整合性ビューの使用)オプションを有効にしてEMRファイルシステム(EMRFS)整合性ビューを使用できます。このオプションによってEMRクラスターは、EMRFSによって書き込まれたりEMRFSと同期したAmazon S3オブジェクトのリストや書き込み後の読み取り整合性をチェックできるようになります。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

tHiveConfigurationでのSparkカタログ設定 tHiveConfigurationの設定では、Sparkカタログプロパティを使ってSparkの実装を示す必要があります。選択する値はHiveメタストアがクラスターの外部にあるかどうかによって異なります。この設定によって実行時のエラーを回避できます。このプロパティを使用できるのはSpark Batchジョブのみです。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

Oracle 19cのサポート 次のビッグデータコンポーネントでOracle 19cがサポートされるようになりました。
Spark Batch:
  • tOracleConfiguration
  • tOracleInput
  • tOracleOutput
Spark Streaming:
  • tOracleConfiguration
  • tOracleLookupInput
  • tOracleOutput

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

DynamoDBコンポーネントにおける[Assume Role] (ロールを引き受け)の詳細設定 tDynamoDBInputコンポーネントとtDynamoDBOutputコンポーネントで[Assume Role] (ロールを引き受け)オプションを有効にすれば、[Advanced settings] (詳細設定)ビューで次のプロパティを構成して自分の設定を微調整できるようになります。
  • [Signing region] (サインインリージョン) (必須)
  • [External Id] (外部ID)
  • [Serial number] (シリアル番号)
  • [Token code] (トークンコード)
  • [Tags] (タグ)
  • [IAM Policy ARNs] (IAMポリシーARN)
  • [Policy] (ポリシー)

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

セカンダリーインデックスからのデータへのアクセス tDynamoDBInputコンポーネントを使ってテーブルからデータを取得する時は、コンポーネント設定でセカンダリーインデックスを指定すればクエリーやスキャンのパフォーマンスを向上させることができます。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

サブスクリプションベースであり、Big Dataを伴うTalendの全製品

Data Integration

機能

説明

対象製品

リモートTAC接続の向上 ADパスワードが変更された場合、LDAPを使用するユーザーはTalend Studioで新しいログイン認証情報を要求されます。

対象製品:

Big Data

Big Data Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであるTalendの全オンプレミス製品

タイトルバーの改良 パッチをインストールすると、タイトルバーにあるTalend Studioのタイトルがアップデートされ、そのパッチのバージョン情報が表示されるようになります。

対象製品:

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、Talend Studioを伴うTalendの全製品

AWS SDKドライバーのアップグレード Talend Studioメタデータ内にあるRedshift SSO接続用のAWS SDKドライバーがアップグレードされました。

対象製品:

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、Talend Studioを伴うTalendの全製品

コンテキストのプロパゲート機能の強化 Data Integrationパーツで、参照プロジェクトにおけるコンテキストのプロパゲートが強化されました。参照プロジェクトでいずれかのコンテキスト変数がアップデートされると、メインプロジェクトに自動で同期されるようになりました。

対象製品:

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、Talend Studioを伴うTalendの全製品

[Assume Role] (ロールを引き受け)の詳細設定 [Assume Role] (ロールを引き受け)オプションを有効にすれば、[Advanced settings] (詳細設定)ビューで次のプロパティを構成して自分の設定を微調整できるようになります。
  • [Signing region] (サインインリージョン) (必須)
  • [External Id] (外部ID)
  • [Serial number] (シリアル番号)
  • [Token code] (トークンコード)
  • [Tags] (タグ)
  • [IAM Policy ARNs] (IAMポリシーARN)
  • [Policy] (ポリシー)
この機能強化は次のコンポーネントを対象としています。
  • tAmazonEMRListInstances、tAmazonEMRManage、tAmazonEMRResize、tAmazonRedshiftManage
  • tRedshiftOutputBulk、tRedshiftOutputBulkExec
  • tS3BucketCreate、tS3BucketDelete、tS3BucketExist、tS3BucketList、tS3Connection、tS3Copy、tS3Delete、tS3Get、tS3List、tS3Put
  • tSQSConnection、tSQSInput、tSQSMessageChangeVisibility、tSQSMessageDelete、tSQSOutput、tSQSQueueAttributes、tSQSQueueCreate、tSQSQueueDelete、tSQSQueueList、tSQSQueuePurge

対象製品:

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、Talend Studioを伴うTalendの全製品

コンポーネント名の変更 tSQLDWHのコンポーネント名が変更されました。詳しい変更は次のとおりです。
  • tSQLDWHBulkExecからtAzureSynapseBulkExecへ
  • tSQLDWHCloseからtAzureSynapseCloseへ
  • tSQLDWHCommitからtAzureSynapseCommitへ
  • tSQLDWHConnectionからtAzureSynapseConnectionへ
  • tSQLDWHInputからtAzureSynapseInputへ
  • tSQLDWHOutputからtAzureSynapseOutputへ
  • tSQLDWHRollbackからtAzureSynapseRollbackへ
  • tSQLDWHRowからtAzureSynapseRowへ

対象製品:

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、Talend Studioを伴うTalendの全製品

Azure Data Lake Storage Gen2 Azure SynapseコンポーネントでAzure Data Lake Storage Gen2がサポートされるようになりました。tAzureSynapseBulkExecコンポーネントを使えば、[Basic settings] (基本設定)ビューの[Azure Storage] (Azure Storage)ドロップダウンリストで[Data Lake Storage Gen2] オプションを、[Advanced settings] (詳細設定)ビューで[Secure transfer required] (セキュアな転送が必要)オプションをそれぞれ利用できるようになります。[Azure Storage] (Azure Storage)ドロップダウンリストにある既存の[Data Lake Store]オプションは[Data Lake Storage Gen1]へと変更されました。

対象製品:

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、Talend Studioを伴うTalendの全製品

tELTTeradataMap: 関係演算子をアップデート ELT Teradata Map Editorでは、=<=<>=><> という演算子が使用されます。次の図のように、これまで対応していた EQLELTGEGTNEといった演算子は非推奨となりました。
変更前:
変更後:

対象製品:

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、Talend Studioを伴うTalendの全製品

Azure Active Directory認証のサポート 次のコンポーネントを使って接続を確立する時にAzure Active Directory認証を使用できるようになりました。
  • tAzureSynapseBulkExec、tAzureSynapseConnection、tAzureSynapseInput、tAzureSynapseOutput、tAzureSynapseRow
  • tELTMSSqlMap
  • tMSSqlBulkExec、tMSSqlConnection、tMSSqlInput、tMSSqlOutput、tMSSqlOutputBulkExec、tMSSqlRow、tMSSqlSCD、tMSSqlSP
  • tCreateTable

対象製品:

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、Talend Studioを伴うTalendの全製品

tAzureSynapseBulkExec: データのロードにおけるCOPYステートメントのサポート

データをロードする場合にtAzureSynapseBulkExecでCOPYステートメントがサポートされるようになり、このコンポーネントに次の変更が加えられました。

[Basic settings] (基本設定)ビューで:
  • [Load method] (ロード方式)ドロップダウンリスト(新規)
  • [Azure storage] (Azure Storage)ドロップダウンリスト(アップデート)
  • [Authentication method] (認証方式)ドロップダウンリスト(新規)
  • [SAS token] (SASトークン)フィールド(新規)
  • [Endpoint suffix] (エンドポイントサフィックス)フィールド(新規)
  • [External paths] (外部パス)オプション(新規)
[Advanced settings] (詳細設定)ビューで:
  • [File type] (ファイルタイプ)ドロップダウンリスト(新規)
  • [Specify map to source table fields] (ソーステーブルフィールドにマップを指定) オプション(新規)
  • [First row] (最初の行)フィールド(新規)
  • [Field quote] (フィールドクオート)フィールド(新規)
  • [Field terminator] (フィールドターミネーター)フィールド(新規)
  • [Row terminator] (行ターミネーター)フィールド(新規)
  • [Date format] (日付形式)ドロップダウンリスト(新規)
  • [Encoding] (エンコーディング)ドロップダウンリスト(新規)
  • [Identity insert] (ID挿入)オプション(新規)
  • [Max errors] (最大エラー数)フィールド(新規)
  • [Compressed by] (圧縮方式)ドロップダウンリスト(アップデート)

対象製品:

Big Data

Big Data Platform

Cloud API Services Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Integration

Cloud Data Management Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、Talend Studioを伴うTalendの全製品

Data Quality

機能 説明

対象製品

コンポーネント AzureとAWSのDatabricksで、tMatchIndextMatchIndexPredictを除くすべてのData Qualityコンポーネントを実行できるようになりました。

この2つのコンポーネントはElasticsearch認証をサポートしていないため、Databricksでは実行できません。

対象製品:

Big Data Platform

Cloud API Services Platform

Cloud Big Data Platform

Cloud Data Fabric

Cloud Data Management Platform

Data Fabric

Data Management Platform

Data Services Platform

MDM Platform

Real-Time Big Data Platform

TalendプラットフォームとData Fabricの全製品

Application Integration

機能 説明

対象製品

RESTサービス コンテキスト変数が完全にサポートされ、データサービスとルートでのRESTサービスプロバイダーとコンシューマーエンドポイントで使用できるようになりました。

対象製品:

Cloud API Services Platform

Cloud Data Fabric

Data Fabric

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、ESBを伴うTalendの全製品

マイクロサービス マイクロサービスがPrometheusにメトリックを提供できるようになりました。

対象製品:

Cloud API Services Platform

Cloud Data Fabric

Data Fabric

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

サブスクリプションベースであり、ESBを伴うTalendの全製品