R2021-02の新機能 - 7.3

Talend Data Fabricリリースノート

EnrichVersion
7.3
EnrichProdName
Talend Data Fabric
task
インストールとアップグレード
リリースノート

Big Data: 新しい機能

機能

説明

SparkジョブにおけるローカルモードのSpark 3.0のサポート Talend StudioでのSparkジョブの実行で、ローカルモードのSpark 3.0がサポートされるようになりました。
注: ただし次のエレメントの場合、ローカルモードのSpark 3.0はサポートされていません。
  • ADLS Gen2
  • tCassandraInputとtCassandraOutput
  • tElasticSearchInputとtElasticSearchOutput
Spark 3.0コンポーネントを使ったDatabricks 7.3 LTSのサポート(テクニカルプレビュー)
テクニカルプレビューとして、AWSとAzureの両方でDatabricks 7.3 LTSディストリビューションでSpark 3.0を使い、対話型クラスターと一時クラスター用にSpark BatchジョブとSpark Streamingジョブを実行できるようになりました。以下のコンポーネントがサポートされています:
  • tAvroInputとtAvroOutput
  • tAzureFSConfiguration
  • tFileInputDelimitedとtFileOutputDelimited
  • tFileInputJSONとtFileOutputJSON
  • tFileInputParquetとtFileOutputParquet
  • tFileInputXMLとtFileOutputXML
  • tFixedFlowInput
  • tLogRow
  • tS3Configuration
重要: この機能はテクニカルプレビューの段階にあるため、本番環境での使用には適していません。
Databricksの一時クラスターで利用できる新しいオプション Sparkジョブの[Spark configuration] (Spark設定)ビューでDatabricksの一時クラスターを作成する際に、設定を微調整できるようになりました。次のプロパティを利用できるようになりました。
  • [Enable credentials passthrough] (認証情報のパススルーを有効化)
  • [Spot with fall back to On-demand] (オンデマンドへのフォールバックを伴うスポット)
  • 可用性ゾーン
  • [Max spot price] (最大スポット価格)
  • [EBS volume type] (ESBボリュームタイプ)
  • [Custom tags] (カスタムタグ)
  • [Init Scripts] (Initスクリプト)
Spark BatchジョブのDynamoDBコンポーネントで利用できるAWSロールオプションから認証情報を継承 次のDynamoDBコンポーネントで、[Inherit credentials from AWS role] (AWSロールから認証情報を継承)という新しいオプションを使ってAmazon EC2インスタンスのメタデータからAWSのセキュリティ認証情報を取得する機能がサポートされるようになりました。
  • tDynamoDBInput
  • tDynamoDBOutput
  • tDynamoDBConfiguration

これによって、Talend Studioでアクセスキーやシークレットキーを指定する必要がなくなります。

Data Integration: 新しい機能

機能

説明

ライブラリーの共有がさらに向上

Talend Studio[Preferences] (環境設定)ダイアログボックスにある[Talend] > [Artifact Repository] (アーティファクトリポジトリー) > [Libraries] (ライブラリー)ビューで[Share libraries to artifact repository at startup] (起動時にアーティファクトリポジトリーにライブラリーを共有)チェックボックスを使うことで、起動時にコンポーネントライブラリーをローカルライブラリーリポジトリーに共有するかどうか設定できるようになりました。

Databricks Delta Lakeマッピングのサポート

Databricks Delta Lakeのマッピングのサポート対象となるコンポーネントは次のとおりです。

  • tELTInput、tELTOutput、tELTMap
  • tSQLTemplate, tSQLTemplateMerge、tSQLTemplateAggregate、tSQLTemplateCommit、tSQLTemplateRollback、tSQLTemplateFilterRows、tSQLTemplateFilterColumns

更新操作と削除操作で新しいオプションを追加

[Basic settings] (基本設定)ビューに、[Use WHERE conditions table] (WHERE条件テーブルを使用)オプションと[Where conditions table] (WHERE条件テーブル)フィールドが追加されました。これによって生産性が向上します。対象コンポーネント:

  • tELTGreenplumOutput、tELTMSSqlOutput、tELTMysqlOutput、tELTNetezzaOutput、tELTOracleOutput、tELTOutput、tELTPostgresqlOutput、 tELTSybaseOutput、tELTTeradataOutput、tELTVerticaOutput

tRedshiftBulkExec: 新しいファイルタイプのサポート

tRedshiftBulkExecコンポーネントがApache Parquetファイルに保存されているデータをロードできるようになりました。

tFileOutputExcel: Excel2007ファイル用の新しいオプション

tFileOutputExcelコンポーネントに追加された[Truncate characters exceeding max cell length] (最大セル長を超えた文字は切り詰め)オプションを使えば、Excel2007のセルに書き込まれた文字列のうち、最大セル長(32767文字)を超える文字が切り詰められるようになります。

tChangeFileEncoding: バッファーサイズがカスタマイズ可能に

tChangeFileEncodingコンポーネントに追加された[Buffer Size] (バッファーサイズ)フィールドを使えば、ファイルのエンコーディングを変更する際のバッファーサイズを指定できます。

tSalesforceBulkExecとtSalesforceOutputBulkExecで利用できる[Safety Switch] (安全スイッチ)オプション

tSalesforceBulkExecコンポーネントとtSalesforceOutputBulkExecコンポーネントの過剰なメモリ使用を防ぐため、[Safety Switch] (安全スイッチ)オプションが提供されました。データベースが100000文字以上のカラムを含んでいる場合は、このオプションを使わないでください。

Data Mapper: 新しい機能

機能

説明

小数エレメントの新しいオプション CSV、フラット、JSON、マップ、XMLの表記プロパティに新しいオプションが2つ追加され、小数エレメントの処理と、暗黙の小数に関する問題の修正が行われました。
  • [Enforce zero scale on output decimals?] (出力された小数でゼロスケールを強制しますか?)オプションによって、[Decimal Places] (小数位)プロパティが0に設定された時に小数点以下を削除できるようになります。
  • [Decimal sign is implied on output] (出力に小数点記号を暗示)オプションを使えば、出力の小数点記号を削除できます。

Data Quality: 新しい機能

機能

説明

ローカルモードのSpark 3.0のサポート tMatchIndex、tMatchIndexPredict、tNLPModel、tNLPPredict、tNLPPreprocessingを除き、SparkコンポーネントはローカルモードのApache Spark 3.0をサポートしています。