ビッグデータ: 新しい機能 - 7.1

Talend Data Fabricリリースノート

author
Talend Documentation Team
EnrichVersion
7.1
EnrichProdName
Talend Data Fabric
task
インストールとアップグレード

Sparkジョブデザイナーの機能拡張

フィーチャー

説明

Sparkバージョン Spark 2.3は、ローカルモードだけでなくEMR 5.15 (およびテクニカルプレビューとしてCDH6.0とHDP 3.0)でもサポートされており、Apache Sparkの最新バージョンのイノベーションと改善された安定性を活用できるようになっています。
Kerberosセキュリティ

Talendでは、EMR 5.15の追加により、EMRでKerberosがサポートされるようになりました。

tAzureFSConfigurationの機能拡張

このコンポーネントのAzure Data Lake StorageおよびAzure Blob Storageのサポートは、Databricksで使用できます。

Spark Codegenの機能拡張 これらの機能拡張により、Spark Datasetを使用するためにApache Spark向けのTalendジョブのプレパレーションができるようになりました。
スキーマコンプライアンス tSchemaComplianceCheckが作成されました。
タイムスタンプの精度

ユーザーは、日付タイプのデータに含まれている日、時、分、秒を出力できます。

ビッグデータプラットフォームに対するサポート

フィーチャー

説明

Cloud Big Dataプラットフォーム

以下のプラットフォームに対するサポートが追加されました。

  • Databricks:
    • SparkジョブにおけるAzure DatabricksとDatabricks on AWS
    • DBFSコンポーネントが作成されました。
    • SparkジョブはDatabricksをサポートします。
  • Qubole:
    • このプラットフォームに対するサポートがHiveとPigのコンポーネントに追加されました。
    • このディストリビューションに対するサポートが、Hiveコンポーネント、Pigコンポーネント、およびSparkジョブに追加されました。

上記すべての変更が組み合わさって、サーバーレスビッグデータの投資収益率が高まり、Sparkをクラウド内のサービスとして使用することで、処理コストが低減します。データ管理用の一時的な使用が可能になり、エラスティックな処理により柔軟に対応できるようになり、Sparkコンピューティングにペイパーユースが可能になります。

Hadoopディストリビューションに対するサポートのアップグレード
  • Hortonworks Data Platform V2.6.0.3-8
  • EMR 5.15
  • MapR 6.0.1 with MEP 5.0
ダイナミックHadoopディストリビューション

このバージョンを数回のクリック操作で追加するだけで、Talend Studioのリリース時にはリリースされていなかったClouderaまたはHortonworksバージョンが使用できるようになります。これにより、俊敏性と柔軟性がこれまでになく向上します。

HDP 3.xとCDH 6.xのダイナミックディストリビューションは、今回のリリースのテクニカルプレビューにあります。

その他のコンポーネント

フィーチャー

説明

Kafkaコンポーネント

Kafkaコンポーネントは標準ジョブでKafka V1.1.0をサポートします。

SqoopとHcatalog tSqoopExportでHcatalogからスキーマを読み取ることができるようになりました。
Hiveメタストア Hive接続メタデータウィザードまたはSparkジョブ内のtHiveConfigurationコンポーネントを使用して、HA (高可用性) Hiveメタストアを設定できるようになりました。
HDFS WebHDFSスキームとADLSスキームに対する明示的なサポートがHDFSコンポーネントに追加されました。
Google BigQuery

GoogleのサービスアカウントモードをGoogle BigQueryの認証に使用することができます。

MapR OJAI

tMapROjaiInputコンポーネントが作成されました。

MarkLogic

Marklogic V9.0.5がサポートされています。

継続的なデプロイ

フィーチャー

説明

継続的なデプロイ: Dockerのサポート

継続的インテグレーションサーバーを設定して、TalendプロジェクトのアーティファクトをDockerレジストリーにデプロイできるようになりました。