Big Data: 新しい機能
|
機能 |
説明 |
製品 |
|---|---|---|
| SparkジョブにおけるローカルモードのSpark 3.0のサポート | Talend StudioでのSparkジョブの実行で、ローカルモードのSpark 3.0がサポートされるようになりました。 注: ただし次のエレメントの場合、ローカルモードのSpark 3.0はサポートされていません。
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
| Spark 3.0コンポーネントを使ったDatabricks 7.3 LTSのサポート(テクニカルプレビュー) |
テクニカルプレビューとして、AWSとAzureの両方でDatabricks 7.3 LTSディストリビューションでSpark 3.0を使い、対話型クラスターと一時クラスター用にSpark BatchジョブとSpark Streamingジョブを実行できるようになりました。以下のコンポーネントがサポートされています:
重要: この機能はテクニカルプレビューの段階にあるため、本番環境での使用には適していません。
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
| Databricksの一時クラスターで利用できる新しいオプション | Sparkジョブの[Spark configuration] (Spark設定)ビューでDatabricksの一時クラスターを作成する際に、設定を微調整できるようになりました。次のプロパティを利用できるようになりました。
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
| Spark BatchジョブのDynamoDBコンポーネントで利用できるAWSロールオプションから認証情報を継承 | 次のDynamoDBコンポーネントで、[Inherit credentials from AWS role] (AWSロールから認証情報を継承)という新しいオプションを使ってAmazon EC2インスタンスのメタデータからAWSのセキュリティ認証情報を取得する機能がサポートされるようになりました。
これによって、Talend Studioでアクセスキーやシークレットキーを指定する必要がなくなります。 
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
Data Integration: 新しい機能
|
機能 |
説明 |
製品 |
|---|---|---|
|
ライブラリーの共有がさらに向上 |
Talend Studioの[Preferences] (環境設定)ダイアログボックスにあるビューで[Share libraries to artifact repository at startup] (起動時にアーティファクトリポジトリーにライブラリーを共有)チェックボックスを使うことで、起動時にコンポーネントライブラリーをローカルライブラリーリポジトリーに共有するかどうか設定できるようになりました。 |
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
|
Databricks Delta Lakeマッピングのサポート |
Databricks Delta Lakeのマッピングのサポート対象となるコンポーネントは次のとおりです。
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
|
アップデート操作と削除操作で新しいオプションを追加 |
[Basic settings] (基本設定)ビューに、[Use WHERE conditions table] (WHERE条件テーブルを使用)オプションと[Where conditions table] (WHERE条件テーブル)フィールドが追加されました。これによって生産性が向上します。対象コンポーネント:
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
|
tRedshiftBulkExec: 新しいファイルタイプのサポート |
tRedshiftBulkExecコンポーネントがApache Parquetファイルに保存されているデータをロードできるようになりました。
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
|
tFileOutputExcel: Excel2007ファイル用の新しいオプション |
tFileOutputExcelコンポーネントに追加された[Truncate characters exceeding max cell length] (最大セル長を超えた文字は切り詰め)オプションを使えば、Excel2007のセルに書き込まれた文字列のうち、最大セル長(32767文字)を超える文字が切り詰められるようになります。
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
|
tChangeFileEncoding: バッファーサイズがカスタマイズ可能に |
tChangeFileEncodingコンポーネントに追加された[Buffer Size] (バッファーサイズ)フィールドを使えば、ファイルのエンコーディングを変更する際のバッファーサイズを指定できます。
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
|
tSalesforceBulkExecとtSalesforceOutputBulkExecで利用できる[Safety Switch] (安全スイッチ)オプション |
tSalesforceBulkExecコンポーネントとtSalesforceOutputBulkExecコンポーネントの過剰なメモリ使用を防ぐため、[Safety Switch] (安全スイッチ)オプションが提供されました。データベースが100000文字以上のカラムを含んでいる場合は、このオプションを使わないでください。
|
Talend Big Data Talend Big Data Platform Talend Real-Time Big Data Platform |
Data Mapper: 新しい機能
|
機能 |
説明 |
製品 |
|---|---|---|
| 小数エレメントの新しいオプション | CSV、フラット、JSON、マップ、XMLの表記プロパティに新しいオプションが2つ追加され、小数エレメントの処理と、暗黙の小数に関する問題の修正が行われました。
|
Talend Big Data Platform Talend Real-Time Big Data Platform |
Data Quality: 新しい機能
|
機能 |
説明 |
製品 |
|---|---|---|
| ローカルモードのSpark 3.0のサポート | tMatchIndex、tMatchIndexPredict、tNLPModel、tNLPPredict、tNLPPreprocessingを除き、SparkコンポーネントはローカルモードのApache Spark 3.0をサポートしています。 |
Talend Big Data Platform Talend Real-Time Big Data Platform |