R2021-01の新機能 - 7.3

Talend Data Fabricリリースノート

EnrichVersion
7.3
EnrichProdName
Talend Data Fabric
task
インストールとアップグレード
リリースノート

Big Data: 新しい機能

機能

説明

Databricks 5.5 LTSおよび6.4ディストリビューションのロール設定を担う

Databricks 5.5 LTSまたは6.4でジョブを実行しており、S3からデータの読み書きを行う場合に、このロールに関連付けられたロールと権限をジョブに一時的に担わせることができるようになりました。

これで、tS3ConfigurationコンポーネントでDatabricksクラスターにシークレットキーとアクセスキーを指定せずに済みます。[Spark configuration] (Spark設定)ビューで担うロールのAmazon Resource Name (ARN)を指定し、バケット名を入力し、tS3Configurationコンポーネントの[Basic settings] (基本設定)ビューで[Inherit credentials from AWS] (AWSロールから資格情報を継承)チェックボックスをオンにするだけで済むようになりました。

tS3Configurationコンポーネントの基本的な[Assume Role] (ロールの引き受け)設定 tS3Configurationで[Assume Role] (ロールの引き受け)オプションを有効にすれば、[Basic settings] (基本設定)ビューで次のプロパティを構成して自分の設定を微調整できるようになります。
  • [Serial Number] (シリアル番号)
  • [Token Code] (トークンコード)
  • [Tags] (タグ)
  • [Transitive Tag Keys] (推移的タグキー)
  • [Policy ARNs] (ポリシーARN)
  • [Policy] (ポリシー)

この機能は、CDP Private Cloud Base 7.1ディストリビューションで利用できるようになりました。

Kafkaコンポーネントで利用可能なオプションとしてのトピック、パーティション、およびキー tKafkaOutputコンポーネント内のメッセージに使用するキーとパーティションに関する情報を追加できるようになりました。tKafkaInputコンポーネントは、topicpartitionkeyという新しい属性のおかげで、その出力スキーマ内のこれらの情報を読み取ります。

この機能により、トピックからKafkaメッセージ内のその他の情報を取得し、表示することができます。

Spark StreamingジョブでtKafkaCommitが利用可能に Spark v2.0以降によるSpark Streamingジョブで、tKafkaCommitコンポーネントをローカルSparkモードで使用できるようになりました。このコンポーネントでは、オフセットがコミットされている時に手動で制御できます。所定の間隔で自動コミットを行うのではなく、一度にコミットできます。
非推奨となったディストリビューション 以下のディストリビューションが非推奨となりました。
  • HDP 2.6.0以前
  • Cloudera CDH 5.13以前
  • MapR 5.2.0以前
  • Microsoft HD Insight 3.4以前
  • Databricks 3.5 LTS以前
  • Cloudera Altus 1.0
  • Dataproc 1.1

Data Integration: 新しい機能

機能

説明

Talend Studio用の共有モード Talend Studioで共有モードがサポートされるようになりました。これにより、Talend Studioがインストールされているマシンの各ユーザーは、さまざまな設定とワークスペースフォルダーで作業できます。
ライブラリー共有のエンハンスメント

Talend Studioで以下がサポートされるようになりました:

  • 起動時にローカルライブラリーリポジトリーにライブラリーを共有するかどうかの設定
  • 起動後にライブラリーを手動で共有

デフォルトでは、起動のパフォーマンスを改善するためにTalend Studioの起動時にライブラリーは共有されません。

SAP関数抽出パスがカスタマイズ可能に

抽出されたデータを保持するファイルを生成するSAP関数のパスを指定できます。適用されるコンポーネント:

  • tELTSAPMap
  • tSAPDSOInput ([Basic settings] (基本設定)ビューで[Use FTP-Batch Options] (FTPバッチオプションの使用)を選択)
  • tSAPODPInput ([Basic settings] (基本設定)ビューで[Use FTP-Batch Options] (FTPバッチオプションの使用)を選択)
  • tSAPInfoCubeInput ([Basic settings] (基本設定)ビューで[Use FTP-Batch Options] (FTPバッチオプションの使用)を選択)

tGPGDecrypt: GPG復号コマンドの追加パラメーターを指定

[Use extra paramaters] (追加パラメーターの使用)オプションが提供され、GPG復号コマンドに追加パラメーターを指定できるようになりました。

Greenplum 6.xのサポート

今回のリリースではGreenplum 6.xをサポートしています。

Greenplumコンポーネント: デフォルトのデータベースドライバーが変更

Greenplumコンポーネント用のデータベースドライバーが、デフォルトでGreenplumとなります。

tGreenplumGPLoadが改善

tGreenplumGPLoadに複数の新機能/オプションが追加されました。詳細は以下のとおりです。

  • [Basic settings] (基本設定)ビューの[Populate column list based on the schema] (スキーマに基づくカラムリストに入力)オプション。スキーマで定義したカラムをYAMLファイルに追加します。
  • [Addition options] (追加オプション)テーブルに次の新しいパラメーターが追加されました: LOG_ERRORSMAX_LINE_LENGTHEXTERNAL_SCHEMA (_ext_stg_objects)PRELOAD_TRUNCATEPRELOAD_REUSE_TABLESPRELOAD_STAGING_TABLEPRELOAD_FAST_MATCHSQL_BEFORE LOADSQL_AFTER LOAD
  • [Advanced settings] (詳細設定)ビューに[Remove datafile on successful execution] (実行が成功するとデータファイルを削除)オプションと[Gzip compress the datafile] (データファイルをGzip圧縮)オプション。ロード操作が完了するとデータファイルを削除し、Gzipを使用してデータファイルを圧縮します。
  • 追加された新しいグローバル変数: NB_LINE_INSERTEDNB_LINE_UPDATEDNB_DATA_ERRORSGPLOAD_STATUSGPLOAD_RUNTIME

Data Quality: 新しい機能

機能

説明

共有モード Talend Studioが共有モード対応になりました。有効にすると、一部のパスが変わります:
  • tBRMSでは、DroolsフォルダーへのパスがC:/Users/user-account/studio-path/Drools/となります
  • tDqReportRunでは、Generated reportsフォルダーへのパスがC:/Users/user-account/studio-path/Generated reports/となります
  • シノニムインデックスでは、addonsフォルダーへのパスがC:/Users/user-account/studio-path/addons/となります
サポートされているデータベース [Table] (テーブル)スキーマ、[View] (ビュー)スキーマ、[Calculation view] (計算ビュー)スキーマのProfilingパースペクティブで、SAP Hanaがサポートされるようになりました。
tDataMasking

tDataUnmasking

Dynamicデータ型がStandardコンポーネントによってサポートされるようになりました。