ビッグデータ: 新しい機能 - 7.2

Talend Big Data製品リリースノート

EnrichVersion
7.2
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
task
Release Notes
インストールとアップグレード

Sparkジョブデザイナーの強化点

機能

説明

Delta Lake オープンソースであるこのストレージレイヤーを活用し、Apache SparkでビッグデータワークローにでACIDトランザクションを実行できるよう、テクニカルプレビューとしてtDeltaLakeInputとtDeltaLakeOutputが作成されました。
警告: この機能のステータスはテクニカルプレビューです。
Apache Spark V2.4 新しいApache Sparkバージョンはローカルモードでサポートされており、Cloudera CDH V6.1と連携してSparkバッチとSpark Streamingジョブで使用できます。
Databricks
  • AWSでのDatabricksでは一時クラスターがサポートされています。
  • ジョブの送信時にクラスターを実行し続けるチェックボックスをオンにできるようになりました。
Snowflake Sparkバッチ用のSnowflakeコンポーネントが作成されました。
警告: この機能のステータスはテクニカルプレビューです。
Elasticsearch Elasticsearch V5.6.xとV6.4.xがサポートされました。
クラウドセキュリティ
  • S3でSSE KMSが使用できるようになりました。
  • Apache Sparkのジョブで認証情報継承機能が使用できるようになりました。
tFileInputDelimited Sparkクラスターを有効にして大型のCSVファイルを並列で読み取れるよう、複数のエグゼキューターを使用するオプションのチェックボックスをオンにできます。

ビッグデータプラットフォームに対するサポート

機能

説明

Cloudera
  • Cloudera CDH V6.1がサポートされるようになりました。
  • Cloudera CDH V6.xシリーズがダイナミックディストリビューション間で正規に使用できるようになりました。テクニカルプレビュー状態ではなくなりました。
MapR MapRのサポートがMapR V6.1 with MEP (MapR Ecosystem Pack) V6.1に更新されました。

その他のコンポーネント

機能

説明

Google BigQuery
  • Google BigQueryのコンポーネントが、標準ジョブでリージョナルロケーションをサポートするようになりました。
  • tBigQuerySQLRowコンポーネントが追加されました。
Couchbase API
  • Couchbase Java SDK APIのロジックがより適確に反映されるように、コンポーネントtCouchbaseInputとtCouchbaseOutputが新たに作成されました。
  • 古いコンポーネントtCouchbaseInputとtCouchbaseOutputの名前がtCouchbaseDCPInputとtCouchbaseDCPOutputにそれぞれ変更されました。これは、データベース変更プロトコルを使用してデータ変更をバケットにストリーミングするためです。

継続的インテグレーションとデプロイ

機能

説明

継続的インテグレーションとデプロイライトコマンドライン、ライトインストール

アプリケーションとTalend Mavenプラグインを含むリポジトリーがローカルサーバーでホストされ、ビルドプロセス中に自動的にインストールされるため、Talend CommandLineのインストールが不要になりました。

パフォーマンスとリソース活用の向上を目指し、Talend CommandLineのサイズが半分に縮小されました。