Big Data: 新機能 - Cloud - 7.3

Talendリリースノート

Version
Cloud
7.3
Language
日本語
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud API Services Platform
Talend Cloud Big Data
Talend Cloud Big Data Platform
Talend Cloud Data Integration
Talend Cloud Data Management Platform
Talend Cloud Real-Time Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Cloud API Designer
Talend Cloud API Tester
Talend Cloud Data Inventory
Talend Cloud Data Preparation
Talend Cloud Data Stewardship
Talend Cloud Pipeline Designer
Talend Data Preparation
Talend Data Stewardship
Talend Management Console
Talend Studio
Content
インストールとアップグレード
リリースノート
Last publication date
2024-03-21

Sparkジョブデザイナーの強化点

機能

説明

対象製品

ADLS Gen2 Azure Data Lake Storage Generation2が、以下のビッグデータプラットフォームでサポートされるようになりました。
  • Databricks V5.5 LTS
  • Cloudera CDH V6.1
  • Hortonworks Data Platform V3.1

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

Snowflake Spark Batch用のSnowflakeコンポーネントを一般利用できるようになりました。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

ネイティブデータセット
Spark Batchジョブでは、ネイティブSparkデータセットに対するサポートの対象コンポーネントが増え、パフォーマンスが本来的に向上しています。このパフォーマンス向上を活用するには、Spark V2.0以降と以下のコンポーネントを併用している必要があります。
  • tFileInputParquetとtFileOutputParquet
  • tFileInputDelimitedとtFileOutputDelimited
  • tFileInputFullRow
  • tFileInputPositionalとtFileInputRegex
  • tSortRow、tExtractDelimitedFields、tExtractPositionalFields、tExtractRegexFields、tExtractXMLField、tExtractJSONFields、tNormalize、tReplace、tReplicate、tSample、tUnite、tSchemaComplianceCheck
以下のコンポーネントは、SparkデータセットをサポートするためにSpark V2.1以降を必要とします。
  • tAggregateRow
  • Talend Studio V7.2以来データセットをサポートしてきたtMap機能に加えて、tMapの左外部結合

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

Delta Lake tDeltaLakeInputコンポーネントとtDeltaLakeOutputコンポーネントを一般利用できるようになりました。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

Apache Spark V2.4 この新しいAparch Sparkバージョンは、Spark BatchジョブとSpark Streamingジョブで対応するビッグデータプラットフォームが増えました。現在Spark V2.4をサポートしているプラットフォームは、以下のとおりです。
  • Cloudera CDH6.1.1
  • Databricks V5.5
  • Google Cloud Dataproc V1.4

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

ジョブステータス Databricksでは、StudioがSparkクラスターにジョブステータスを尋ねる頻度をユーザーが設定できるようになっています。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

tS3Configuration Amazon EMRでは、S3 バケットポリシーを適用できるようになりました。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

tAggregateRow Spark Batch ジョブには、カウント(重複を除く)関数とサンプル標準偏差アルゴリズム関数が追加されました。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

新しいドライバーバージョン
関連するコンポーネントに以下のドライバーバージョンに対するサポートが追加されました。
  • Redshift JDBCドライバーV1.23.7.106
  • MySQLドライバーV8.0.18
  • Teradata JDBCドライバーV16.20.00.13
  • JDBCコンポーネントのMariaDB JDBCドライバーV2.5.3
  • Snowflake JDBCドライバーV3.11.x

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

利用できる新コンポーネント

新しく追加されたtAzureAdlsGen2InputとtAzureAdlsGen2Outputというコンポーネントを利用できるようになりました。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

ビッグデータプラットフォームに対するサポート

機能

説明

対象製品

Databricks
  • Databricks V5.5 LTSはSparkジョブでサポートされるようになりました。
  • Azure Databricksの一時クラスターに対するサポートが追加されました。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

Hortonworksデータプラットフォーム
  • Hortonworks Data Platform V3.1がサポートされています。
  • ダイナミックディストリビューション間でHortonworks Data Platform V3.xシリーズを一般利用できるようになりました。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

Google Cloud Dataproc

  • Google Cloud Dataproc V1.4がサポートされています。
  • 標準ジョブでは、すべてのリージョンがtGoogleDataprocManageによってサポートされています。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

カスタムHadoop設定 [Repository] (リポジトリー)でClouderaまたはHortonworksへの接続を定義する時に、使用するHadoop環境の接続パラメーターを提供するためにカスタムJARファイルを指定できるようになりました。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

その他のコンポーネント

機能

説明

対象製品

Kafka Kafka V2.2.1が以下で正規にサポートされるようになりました。
  • Cloudera CDH V6.1
  • Hortonworks Data Platform V3.1
  • 標準ジョブのKafkaコンポーネント

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

Google BigQuery
  • tBigQueryBulkExecでは、サービスアカウントまたはそのOAuth 2.0の認証情報を使ってテーブルを削除できるようになりました。
  • BigQueryのコンポーネントがGoogle CloudクライアントAPI 1.25.10をサポートするようになりました。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

Couchbase
  • tCouchbaseOutputで、パラメーターを使うN1QLクエリーを実行できるようになりました。
  • JSON以外のドキュメントがサポートされています。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

CXF

CXF V3.3.4が以下のコンポーネントでサポートされるようになりました。

  • tDBFSConnection、tDBFSGet、tDBFSPut
  • tHCatalogInput、tHCatalogLoad、tHCatalogOperation、tHCatalogOutput

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品

MongoDB

MongoDB V4.2.xに対するサポートが標準ジョブのMongoDBコンポーネントに追加されました。

対象製品:

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Big Dataを伴うTalendの全製品