Talendデータカタログアプリケーション - 7.1

Talendデータカタログリリースノート

EnrichVersion
7.1
EnrichProdName
Talend Big Data Platform
Talend Data Fabric
Talend Data Management Platform
Talend Data Services Platform
Talend MDM Platform
Talend Real-Time Big Data Platform
EnrichPlatform
Talend Data Catalog
task
インストールとアップグレード

一般的な変更

機能 説明
OpenJDK JavaコードがOpenJDKですべてコンパイルされました。
アップグレードされたサードパーティ製のオープンソースソフトウェア セキュリティの改善と脆弱性への対策のために、サードパーティ製のオープンソースソフトウェアはすべて最新バージョンにアップグレードされました。

新しいデータカタログ機能

機能 説明
新しいデータカタログ機能 Talendデータカタログには、ファセット検索、データのサンプリングとプロファイリング、セマンティック検索、ソーシャルキュレーション、データ関係の検索など、データカタログ作成に不可欠な機能が搭載されています。

クラウドベースのデータレイクとクラシックなData Warehouseの両方を対象に、エンタープライズデータアーキテクチャーを管理できます。

XML、JSON、Avro、Parquet、ORC、Hiveテーブルなどのモダンなデータテクノロジーと、リレーショナルテーブルやCSVファイルなどのクラシックなテクノロジーの両方から、メタデータをインポートできます。

新しいユーザーインターフェイス体験

Talendデータカタログのユーザーインターフェイスがリフレッシュされて、見た目もモダンで明瞭になりました。

機能 説明
Metadata Explorer Talendデータカタログ StandardエディションがMetadata Explorerに完全実装されました。モデルの作成、メタデータのインポート、モデルのスティッチ、来歴の追跡を直接実行できます。
Metadata Manager Metadata Managerは、複数のバージョンや設定の管理をはじめとするリポジトリーの管理用に、Talendデータカタログ AdvancedエディションとAdvanced Plusエディションでのみ利用できるようになりました。

Metadata Explorer

機能 説明
編集機能の向上 データマッピング、エンタープライズアーキテクチャー、管理機能を含め、すべての編集機能がMetadata Explorerで利用できるようになりました。
改善された参照と検索の機能とApache Luceneインデックス付け Talendデータカタログでは、パフォーマンスを改善するために検索エンジンとしてApache Luceneを使うようになりました。

[BROWSE] (参照)メニューには、データソースのあらゆるレベルで階層表示ができるようになりました。

より良い検索結果を得るために、セマンティック検索構文とファセット検索機能が使えるようになりました。
新しいメタデータレポートページ 新しいメタデータレポート機能では、検索と参照の両方の機能で最終的に同じレポートページが表示できます。

コンテンツ別に複数のカテゴリーとサブセットを選択してから、デフォルトフィルターとカスタムフィルターでドリルダウンできます。

レポートは、URLをお気に入りに保存することで再利用できます。

新しい[Lists] (リスト)機能 メタデータオブジェクトのリストを定義して管理し、他のユーザーと共有できます。リストには、あらゆるタイプのメタデータや複数の種類のコンテンツを含めることができます。
改善されたアーキテクチャーダイアグラム グラフィックナビゲーションと表示が改善しました。
新しい管理機能 ほとんどの管理タスクを[MANAGE] (管理)メニューで処理できるようになりました。
再設計されたメタデータエレメントのホームページ メタデータエレメントのホームページが再設計されました。複数のタブが設定されて、すべての主な情報にすばやくアクセスできるようになりました。
ラベルによるメタデータのタグ付けの向上 ラベルによるメタデータのタグ付けが改善され、刷新されたリスト管理機能との組み合わせで、オブジェクトの追加/削除がどこでも容易にできるようになりました。

メタデータのドキュメンテーション

機能 説明
複数行のテキストドキュメンテーション 複数行のテキストが導入されて形式とレイアウトが見やすくなり、JIRAに似た構文を使い、URLリンクと埋め込み画像の添付がサポートされるようになりました。

複数行のテキストはすべての説明とコメントのデフォルト形式であり、ドキュメンテーション用のあらゆるメタデータに適用できる新しいタイプのカスタム属性として使えるようになりました。

リッチテキストのドキュメンテーション (WYSIWYG) Visual Editionによるリッチテキストのドキュメンテーションは、用語集の用語のドキュメンテーションに使われるデフォルト形式であり、ドキュメンテーション用のあらゆるメタデータに適用できる新しいタイプのカスタム属性として使えるようになりました。
SQLビューのSQLテキスト SQLビューのSQLテキスト、ストアドプロシージャーなどが、色付きの構文とオプションの再形式を使って見栄えよく表示できるようになりました。

これは新しいタイプのカスタム属性ではありませんが、SQLで事前定義された属性のフォーマットが改善されています。

改善された添付機能 添付機能が強化され、Metadata Explorerに組み込まれました。管理(ドラッグ&ドロップ)、プレビュー、サムネイルをテキストと複数行のテキスト説明、コメント、カスタム属性に埋め込むことが可能です。

データモデリングとドキュメンテーションのプロセス

機能 説明
新しい[Semantic Flow] (セマンティックフロー)タブで改善されたドキュメンテーションプロセス リレーショナルデータモデルのサポートを含め、どんなDI、BI、レポート、データストアもドキュメント化できます。

どんなオブジェクトも、ローカルセマンティックリンクを使って用語集の用語に分類できます。

どんなオブジェクトも、セマンティックリンク([Classified] (分類)[Mapped] (マッピング済み)[Inferred] (推測))を上書きして、ローカルなビジネス名と定義で文書化できます。

物理データモデル データストア要件とデータベース設計で物理データモデルを利用できるのは、Talendデータカタログ Advanced Plusエディションのみとなりました。

既存のデータストアを単純に文書化するのではなく、ライブデータベースをポイントせずに物理データモデルを使って、新しいHIVEテーブルの要件の設計など、データモデルをゼロから作成できます。

データモデリングツールでドキュメント化されたデータベースの収集 データモデルを別のモデルとしてインポートし、セマンティックマッピングモデルを使わずに、収集された一致するデータベースに自動的に合成できます。

データベースとその関連するデータモデルの両方が定期的に別々に再インポートされるため、セマンティック合成は自動的に保守されます。

収集されたあらゆるデータベーステーブルやカラムのドキュメンテーション(ビジネス名、説明、関係、ダイアグラム)が、関連するデータモデルから自動的に継承されます。

データサンプリング、プロファイリング、セキュリティ

機能 説明
新しいデータセキュリティロール [Data Viewer] (データビューアー)ロールでは、データ プロファイリングとサンプリングの情報を表示できます。

[Data Manager] (データマネージャー)ロールでは、データプロファイリングとサンプリングを実行できます。機密データを非表示にすることも可能です。

新しいデータセキュリティ保護 データマネージャーは、[Hide Data] (データを非表示にする)プロパティをカラムレベルで設定できます。セマンティックタイプを使って、機密データを自動的に非表示にできます。
新しい[Sample Data] (サンプルデータ)タブ サンプルデータを表示できるので、メタデータの定義に役立ちます。
新しいデータプロファイリング統計 データプロファイリング統計は、どのデータストアオブジェクトのホームページからでも[Overview] (概要)タブ内に表示されます。

セマンティックタイプの検索と管理

機能 説明
セマンティック検索 セマンティック検索を使い、セマンティックタイプ、パターン、リスト、機械学習を使って、データの性質を自動的に検知できます。

関係の検索と管理

機能 説明
関係の検索 Talendデータカタログでは、関係の検索により、データセット間にリンクを自動的に描画できます。自動的に検出できるものは以下のとおりです。
  • 推測される関係。データ統合やビジネスインテリジェンスといったアクティビティでの結合など、周囲のデータフロー用法を使います。
  • 新しい関係。メタデータ名、セマンティック定義、セマンティックタイプマッチングに基づいて、関係検出の検索機能を使います。
関係の管理 関係に対してソーシャルキュレーションを使用できます。
ダイナミックダイアグラム [Relationships] (関係)タブでダイナミックダイアグラム内の関係を視覚化できます。

ソーシャルキュレーション

機能 説明
新しいソーシャルキュレーション機能 メタデータエレメントに保証、警告、証明書を追加して、検索ランキングに影響を与えることが可能です。

セマンティックマッピング

機能 説明
改善されたセマンティックマッピング セマンティックマッピングが次の2つのアプローチで改善されました。
  • ビジネス用語集の用語やデータモデルのエンティティ/属性からトップダウンで。
  • データストアテーブル/カラム、レポートフィールドからボトムアップで。

セマンティックフロー

機能 説明
改善されたセマンティックフロー分析 セマンティックフロー分析が、以下の条件を満たす定義を見つけるためのインタラクティブダッシュボードとして機能し、ドキュメンテーションプロセスをサポートするようになりました。
  • [Imported] (インポート済み) (メタデータ収集) か、ローカルに[Documented] (ドキュメント化済み) (編集された説明の上書き) [Local] (ローカル)
  • 外部用語集の用語に対するモデル内で、ローカルに[Classified] (分類済み)
  • セマンティックマッピングモデル経由で直接[Mapped] (マッピングされた)か、直接合成(データベースとそのデータモデルの間など)
  • 間接的に[Inferred] (推測)複合データフローのパススルーとセマンティックフローを通じて(データフローダイアグラム内でグラフィックに分析可能)
  • すべての用語集内の名前で[Searched] (検索済み)、のいずれか

[Searched] (検索済み)[Inferred] (推測)[Mapped] (マッピング済み)定義のいずれかのどれでも、[Classified] (分類済み)定義、[Mapped] (マッピング済み)定義のいずれかで素早く再利用/プロモートできます。

関連レポート

機能 説明
改善された関連レポート 関連レポートが、ファイル、テーブル、カラムなどのメタデータオブジェクトで利用できるようになりました。

検索結果を見て、すべてのセマンティックとデータフローにまたがるビジネスインテリジェンスツールで、関連レポートの単純なリストに直接アクセスできます。

これらのレポートをそれぞれのビジネスインテリジェンスツールテクノロジーで直接開くことが可能です。

メタデータの合成

機能 説明
改善されたデータ接続とメタデータ合成機能 ファイル形式の収集と合成がTalendデータカタログで完全にサポートされるようになりました。

接続を合成する数と複雑さを最小化するための接続プール解析(たとえばデータ統合やビジネスインテリジェンスサーバーから)。

データマッピングの仕様と設計

機能 説明
新しい[Data Mappings] (データマッピング)モデル データマッピングの仕様と設計が完全に再設計され、新しい[Data Mappings] (データマッピング)モデル内にマージされました。

データマッピングは、データフローマッピング要件の取り込み、SQLスクリプトやデータ統合/ETLツールジョブにエクスポートできる完全なデータマッピング設計の開発を含む、複数の目的に使えます。

改善されたデータマッピング機能 データマッピングツールを使うと、複数ソースのデータストアをバルクマッピングとクエリーマッピングを使う複数のステップでターゲットデータストアにマッピングできます。

また、新しいグラフィックマッピング表示のほか、結合、ルックアップ、フィルターなどを設計する時の新しい式構文エディターも提供されています。

データガバナンス

機能 説明
物理データモデル用の新しいエクスポート機能 ライセンスエディションに応じて、物理データモデル(PDM)や、データモデリングツール、リレーショナルデータベースから収集されたモデルを以下にエクスポートできます。
  • サポートされているデータモデリングツール(Erwinなど)に。
  • ソース/ターゲットモデルとしてサポートされているデータ統合(DI/ETL)ツール(Talend Data Integrationなど)に。
  • サポートされているビジネスインテリジェンス設計ツール(Tableau、SAP BusinessObjects、IBM Cognosなど)。
データマッピング仕様や設計のための新しいエクスポート機能 ライセンスエディションに応じて、データマッピング仕様や設計をTalend Data Integrationにエクスポートできます。

アーキテクチャー、デプロイ、統合

機能 説明
改善された検索エンジン 検索エンジンが再設計され、Apache Luceneによって最適化された結果、リアルタイムに近い検索とナビゲーションが可能になりました。また、基礎となるデータベーステキスト検索要件の依存性が不要になり、削除されました。
アップグレードされた埋め込みのサードパーティ製ソフトウェア セキュリティとパフォーマンスの改善を目的に、埋め込みのサードパーティツールが、Java 8、Apache Tomcat 9、PostgreSQL 10などの最新バージョンにアップグレードされました。
改善されたシングルサインオン(SSO)統合アーキテクチャー Pythonなど、どの言語のカスタムスクリプトを使っても、リダイレクトによる外部認証が容易にできるように、シングルサインオン(SSO)統合アーキテクチャーが再設計されました。

次回の累積パッチには、Amazon AWSやMicrosoft Azureなどのネイティブクラウド認証のサポートが含まれる予定です。

OAuth 2.0 (オープン認証)のサポート TalendデータカタログがOAuth 2.0によるSSO認証対応になりました。