メイン コンテンツをスキップする 補完的コンテンツへスキップ

Big Data: 新機能

Sparkジョブデザイナーの強化点

機能

説明

対象製品
ADLS Gen2 Azure Data Lake Storage Generation2が、以下のビッグデータプラットフォームでサポートされるようになりました。
  • Databricks V5.5 LTS
  • Cloudera CDH V6.1
  • Hortonworks Data Platform V3.1

Big Dataを伴うTalendの全製品
Snowflake Spark Batch用のSnowflakeコンポーネントを一般利用できるようになりました。

Big Dataを伴うTalendの全製品
ネイティブデータセット
Spark Batchジョブでは、ネイティブSparkデータセットに対するサポートの対象コンポーネントが増え、パフォーマンスが本来的に向上しています。このパフォーマンス向上を活用するには、Spark V2.0以降と以下のコンポーネントを併用している必要があります。
  • tFileInputParquetとtFileOutputParquet
  • tFileInputDelimitedとtFileOutputDelimited
  • tFileInputFullRow
  • tFileInputPositionalとtFileInputRegex
  • tSortRow、tExtractDelimitedFields、tExtractPositionalFields、tExtractRegexFields、tExtractXMLField、tExtractJSONFields、tNormalize、tReplace、tReplicate、tSample、tUnite、tSchemaComplianceCheck
以下のコンポーネントは、SparkデータセットをサポートするためにSpark V2.1以降を必要とします。
  • tAggregateRow
  • Talend Studio V7.2以来データセットをサポートしてきたtMap機能に加えて、tMapの左外部結合

Big Dataを伴うTalendの全製品
Delta Lake tDeltaLakeInputコンポーネントとtDeltaLakeOutputコンポーネントを一般利用できるようになりました。

Big Dataを伴うTalendの全製品
Apache Spark V2.4 この新しいAparch Sparkバージョンは、Spark BatchジョブとSpark Streamingジョブで対応するビッグデータプラットフォームが増えました。現在Spark V2.4をサポートしているプラットフォームは、以下のとおりです。
  • Cloudera CDH6.1.1
  • Databricks V5.5
  • Google Cloud Dataproc V1.4

Big Dataを伴うTalendの全製品
ジョブステータス Databricksでは、StudioがSparkクラスターにジョブステータスを尋ねる頻度をユーザーが設定できるようになっています。

Big Dataを伴うTalendの全製品
tS3Configuration Amazon EMRでは、S3 バケットポリシーを適用できるようになりました。

Big Dataを伴うTalendの全製品
tAggregateRow Spark Batch ジョブには、カウント(重複を除く)関数とサンプル標準偏差アルゴリズム関数が追加されました。

Big Dataを伴うTalendの全製品
新しいドライバーバージョン
関連するコンポーネントに以下のドライバーバージョンに対するサポートが追加されました。
  • Redshift JDBCドライバーV1.23.7.106
  • MySQLドライバーV8.0.18
  • Teradata JDBCドライバーV16.20.00.13
  • JDBCコンポーネントのMariaDB JDBCドライバーV2.5.3
  • Snowflake JDBCドライバーV3.11.x

Big Dataを伴うTalendの全製品

利用できる新コンポーネント

新しく追加されたtAzureAdlsGen2InputとtAzureAdlsGen2Outputというコンポーネントを利用できるようになりました。

Big Dataを伴うTalendの全製品

ビッグデータプラットフォームに対するサポート

機能

説明

対象製品
Databricks
  • Databricks V5.5 LTSはSparkジョブでサポートされるようになりました。
  • Azure Databricksの一時クラスターに対するサポートが追加されました。

Big Dataを伴うTalendの全製品
Hortonworksデータプラットフォーム
  • Hortonworks Data Platform V3.1がサポートされています。
  • ダイナミックディストリビューション間でHortonworks Data Platform V3.xシリーズを一般利用できるようになりました。

Big Dataを伴うTalendの全製品

Google Cloud Dataproc
  • Google Cloud Dataproc V1.4がサポートされています。
  • 標準ジョブでは、すべてのリージョンがtGoogleDataprocManageによってサポートされています。

Big Dataを伴うTalendの全製品
カスタムHadoop設定 [Repository] (リポジトリー)でClouderaまたはHortonworksへの接続を定義する時に、使用するHadoop環境の接続パラメーターを提供するためにカスタムJARファイルを指定できるようになりました。

Big Dataを伴うTalendの全製品

その他のコンポーネント

機能

説明

対象製品
Kafka Kafka V2.2.1が以下で正規にサポートされるようになりました。
  • Cloudera CDH V6.1
  • Hortonworks Data Platform V3.1
  • 標準ジョブのKafkaコンポーネント

Big Dataを伴うTalendの全製品
Google BigQuery
  • tBigQueryBulkExecでは、サービスアカウントまたはそのOAuth 2.0の認証情報を使ってテーブルを削除できるようになりました。
  • BigQueryのコンポーネントがGoogle CloudクライアントAPI 1.25.10をサポートするようになりました。

Big Dataを伴うTalendの全製品
Couchbase
  • tCouchbaseOutputで、パラメーターを使うN1QLクエリーを実行できるようになりました。
  • JSON以外のドキュメントがサポートされています。

Big Dataを伴うTalendの全製品

CXF

CXF V3.3.4が以下のコンポーネントでサポートされるようになりました。

  • tDBFSConnection、tDBFSGet、tDBFSPut
  • tHCatalogInput、tHCatalogLoad、tHCatalogOperation、tHCatalogOutput

Big Dataを伴うTalendの全製品

MongoDB

MongoDB V4.2.xに対するサポートが標準ジョブのMongoDBコンポーネントに追加されました。

Big Dataを伴うTalendの全製品

このページは役に立ちましたか?

このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。

こちらにフィードバックをお寄せください