Talend Data Catalog アプリケーション

機能	説明
新しいメタモデルの管理	新しいメタモデル管理機能によって、データ管理(参照データ、データ品質、データセキュリティ、データ問題管理、ビジネスルールとポリシー、ビジネスプロセスのモデリングと改善、規制遵守など)のためのカスタムモデルを定義し、インポートモデルを拡張できます。メタモデリング機能は[Manage Metamodel] (メタモデルを管理)ページで利用できます。
新しいカスタムビジネスモデル	新しいメタモデリング機能を使えば、カスタムモデル(参照データ、ビジネスポリシーとルール管理、データ問題管理に関連するモデルなど)を定義できます。カスタムモデルは、[Manage Metamodel] (メタモデルを管理ページで定義されているカスタムモデルタイプのインスタンスです。Talend Data Catalogではそのようなカスタムモデルに対し、オブジェクトモデリング機能とUMLクラス図のグラフィカルな編集機能が提供されています。 Talend Data Catalogではまた、標準およびシステムビジネスモデルとモデル拡張機能も提供されています。[Standard] (標準)パッケージに新しいKPIとAcronymオブジェクトを含む用語集モデルが追加されました。いちど定義すれば、インポートモデルで利用できる機能(データ入力、分析、ワークシートやダッシュボードを使ったレポートなど)をカスタムモデルでも利用できるようになります。オブジェクトページに新しく追加された[Hierarchies] (階層)タブを使うと、モデルを階層的に探索し、データ入力やレポート作成が容易になります。カスタムモデルでワークフローと公開のプロセスを有効にしてカスタマイズすることで、オブジェクトクラスへの変更を[Workflow] (ワークフロー)タブで制御できるようになります。メタモデルパッケージを使って外部で一括編集やレポーティングするため、メタモデルのサブセットをインポートまたはエクスポートできます。これにより、サードパーティの拡張パッケージを開発および提供し、カスタムモデルの背後にあるツールやアプリケーション(データ問題管理に関するモデルの場合のJIRAなど)と実際のコネクターを定義できます。この機能は[Manage Metamodel] (メタモデルを管理)ページで利用可能です。
インポートされた技術モデルの新しい拡張機能	新しいメタモデリング機能を使えば、インポートされたモデルのデータドキュメンテーションを拡張できます。インポートされたモデルとは、インポートブリッジに関連付けられ、収集プロセスを通じて実装されているモデルのことです。新しいインポートオブジェクトタイプは[Manage Metamodel] (メタモデルを管理)ページで定義できます。これによって類似のプロファイルオブジェクトをインポートされたオブジェクトタイプのコレクションにグルーピングし、そのコレクションにカスタム属性を同時に適用できるようになります。インポートされたオブジェクトとカスタムオブジェクトの両方についてカスタム属性を定義、適用、再利用できます。インポートされた類似オブジェクトに適用するカスタム属性のスコープを1つずつ再定義する必要がなくなります。カスタムオブジェクトからインポートされたオブジェクトへのカスタム関係を定義することで、たとえばデータアセットでビジネスルールやポリシーを適用できるようになります。カスタム関係もセマンティックフローに含まれているよう設定できます。たとえば、[Semantic Flow] (セマンティックフロー)タブではテーブルカラムの用語定義と関連するビジネスルールを確認できます。 [Is Defined By] (定義者)という関係を新しく定義すれば、用語ドキュメンテーションのプロセス実装が可能になります。これによって、クラウド移行後にデータドキュメンテーションを新しい実装へ再インポートするなど、技術やアーキテクチャーの継続的変化にプロセスを適応させられるようになります。
グローバルロールとオブジェクトロールによる新しいロールベースのアクセスコントロール	Talend Data Catalogで新しいロールベースのアクセスコントロールを利用できるようになりました。グローバルロールは、すべてのカタログアセットに対してユーザーがグローバルで負う責任を規定します。このようなロールは[Manager Global Roles] (グローバルロールを管理)という新しいページで管理します。オブジェクトロールは、特定のカタログアセット(用語集やモデルなど)に対してユーザーが負う責任を規定します。このようなロールは[Manager Object Roles] (オブジェクトロールを管理)という新しいページで管理します。オブジェクトロールは、設定マネージャーかリポジトリマネージャーの[Responsibilities] (責任)という新しいタブ、またはオブジェクトページのオブジェクトに割り当てます。グローバルロールとオブジェクトロールによって、カタログで実行可能なアクション(管理機能や編集機能など)を定義する事前定義済み機能一式を利用できるようになります。用意されている事前定義済みのグローバルロールとオブジェクトロールは、所属する組織の特定のニーズに合わせてカスタマイズできます。定義済みのロールがハードコードされなくなりました。定義済みのグローバルロールとオブジェクトロールをカスタマイズし、機能の割り当てを変更できます。また、ゼロから、あるいは既存のロールに基づいて新しいロールを作成することもできます。ユーザーやユーザーグループをオブジェクトロールまたはグローバルロールに関連付ける場合、この関連付けは「責任」と呼ばれます。
新しいデータ分類	データ分類は、カタログにインポートされたデータソースに含まれているエレメントの性質と目的を検出、理解、分類するのに役立ちます。セマンティックタイプがデータクラスに置き換えられました。データクラスの管理は[Manage Data Classes] (データクラスを管理)という新しいページで行います。データクラスには次のような種類があります。データ型が改善され、列挙、パターン、正規表現に基づくデータサンプリングとプロファイリング機能を使ってデータの性質を検出できるようになりました。新しいマッチングしきい値機能と一意性しきい値機能を使ってマッチングルールを設定できるようになりました。新しいコード値の自動学習など、データパターンや列挙で機械学習に基づく新しい自動セマンティック検索を使用できるようになりました。このプロセスにより、Talend Data Catalogが行う自動タグ付けの提案が改善されています。データクラスの追加やアップデートを行った後、オンデマンドでサーバー側の再分類機能を使用できるようになりました。変更を反映させるためにデータのサンプリングとプロファイリングを行う必要がなくなりました。新しいメタデータ型はメタデータの属性によってクラスを検出します。これは、データサンプリングとプロファイリングのプロセスでは識別できない機密データを検出するうえで役立ちます。この機能はメタデータクエリー言語(MQL)によって提供されます。複合型が改善され、複数のデータクラスに基づくようになりました。 Talend Data Catalogにはデータ、メタデータ、複合という各タイプの新しいPIIデータクラスが揃っており、これによって機密データを簡単に識別して隠すことができます。
新しい秘密度ラベル	新しい秘密度ラベルを使えば機密データを識別できます。オブジェクト詳細ページの右上に秘密度ラベルアイコンが新しく表示されます。このラベルは[Manage Sensitivity Labels] (秘密度ラベルを管理)ページで管理およびカスタマイズします。これらのラベルは、各オブジェクトに手動でタグを付ける、ワークシートの一括編集機能を使う、データ分類の自動検出を使う、推測済み秘密度ラベルを使うといった方法で適用できます。
新しい条件ラベル	メタデータクエリー言語(MQL)に基づいて新しい条件付きラベルを定義できます。このラベルは[Manage Conditional Labels] (条件ラベルを管理)という新しいページで管理および作成します。条件ラベルは、オブジェクト詳細ページの概要タブにある[Conditional Labels] (条件ラベル)エリアで確認できます。条件ラベルは、検索結果、ワークシート、データフローの来歴図に表示できます。
新しいラベル管理	[Manage Labels] (ラベルを管理)という新しいページで、ラベルの割り当てを確認したり削除したりできるようになりました。デフォルトでは、[All Labels] (すべてのラベル)ビューでリポジトリー内のラベルがすべて表示されます。また、[Configuration Labels] (設定ラベル)ビューでは、現在の設定内のオブジェクトに割り当てられたラベルを確認することもできます。
新しいオブジェクトウォッチャーとメール通知	新しいウォッチャー通知では、あるオブジェクトに特定のイベントが発生した時にそのオブジェクトのウォッチャーに通知できるようになっています。サーバー側のウォッチャーに対する電子メール通知は、[Manage Email] (メールを管理)ページで有効にします。オブジェクトロールによるウォッチャーの編集機能や管理機能の設定は、[Manage Object Roles] (オブジェクトロールを管理)ページで行います。 [Manage Users] (ユーザーを管理)ページ、または[User Profile] (ユーザープロファイル)というUIで、ウォッチャー用の通知頻度を設定できます。オブジェクトページの右上に秘密度ラベルアイコンが新しく表示されます。このメニューで、オブジェクトの監視を開始または停止したり、監視者の数を確認したり、オブジェクトの監視者を管理したりできます。この機能はインポートされたテクニカルモデルとカスタムビジネスモデルで利用できます。マルチモデルの場合は、モデルレベルまたはサブモデルレベルでのみ利用できます。技術モデルのウォッチャーであれば、インポート後の変更や新しい認証などの変更があった場合、モデル別、およびアクティビティの種類別にメールが届きます。ビジネスモデル、データまたはセマンティックマッピング、物理データモデルのウォッチャーであれば、あらゆるレベルのあらゆる変更についてモデル別にメールが届きます。変更の概要統計とモデルバージョン比較レポートへのリンクが含まれている電子メールを受信できます。また、ワークフローの移行、設定変更、サーバーエラーなど、ロールや能力の割り当てに応じて通知メールを受け取ることもできます。
Cloudシークレットマネージャーに認証情報を保管する新機能	[Manage Secret Vaults] (シークレットコンテナーを管理)という新しいページで、ブリッジ認証情報(ユーザー、パスワード、プライベートキーなど)をCloudシークレットマネージャーに保管できるようになりました。 Talend Data Catalogでは、以下のCloudシークレットマネージャーがサポートされています。 Amazon AWS Secrets Manager Microsoft Azure Key Vault Google Secret Manager
データドキュメンテーションの自動化と生産性の向上	データドキュメンテーションは、テクニカルデータを誰もが理解できるビジネス用語で定義するのに役立ちます。データドキュメンテーションには次のようなカテゴリーがあります。ビジネスドキュメンテーションでは、ローカルドキュメンテーションがビジネス名とビジネスディスクリプション共に提供されます。用語ドキュメンテーションの代わりに使用できます。用語ドキュメンテーション(以前は用語の分類と呼ばれていました)は、インポートされたオブジェクトを用語集からの用語を使ってドキュメント化できるようにします。本バージョンから[Is Defined By] (定義者)関係が作成されるようになりました。マッピング済みドキュメンテーションは、セマンティックマッピングによって接続されたインポートされたオブジェクトを、用語集の用語またはデータモデルからのエンティティ/属性を使ってドキュメント化できるようにします。推測済みドキュメンテーションは、インポートされたオブジェクトに関するデータドキュメンテーションを提供します。これは、そのオブジェクトのデータフローパススルー来歴およびインパクトに含まれる他のオブジェクトから自動的に生成されます。この機能により、自動データドキュメンテーションでカバーする範囲が拡大され、多くのデータストアに対応できます。オブジェクトページの[Overview] (概観)タブに、新しいビジネス、用語、マッピング、推測済みドキュメンテーションのウィザードが表示されるようになりました。Talend Data Catalogは、命名基準と監視対象の学習機能を採用することにより技術名に基づいてビジネス名を提案します。また、推測済みドキュメンテーションからビジネスディスクリプションを提案することもできます。 REST API、MQL、ワークシート、ダッシュボードで新しく利用可能となった`Term Documentation`属性と`Inferred Documentation`属性を使えば、データドキュメンテーションでカバーする範囲で新しいKPIグラフィカルウィジェットを作成できます。
アップデート日のソート機能を追加	オブジェクトエクスプローラー、ワークシート、検索で、結果をアップデート日でソートできるようになりました。
データプロファイリングとサンプリングのアーキテクチャーの改善	リモート収集サーバーで集められたデータサンプリングとプロファイリングの結果がサーバー側に保存されるようになりました。これにより、リモート収集サーバーに戻ることなく、自動または(データクラスの作成後など)必要に応じてデータサンプリングとプロファイリングをアップデートできます。
メタデータのレポーティングとプレゼンテーションの改善	サーバー間でのデフォルトプレゼンテーションのインポートとエクスポートを[Manage Default Presentations] (デフォルトプレゼンテーションを管理)ページでできるようになりました。オブジェクト詳細ページのプレゼンテーションに新しいグラフィカルなウィジェットが追加されています。
REST API機能の改善	REST APIで次の新機能を利用できるようになりました。 MQLクエリー関数に`scope`という新しいパラメーターを追加リポジトリーでのメタモデルパッケージの新しいインポート/エクスポート機能リポジトリーでのインポートされたモデルとカスタムモデルの新しいインポート/エクスポート機能ロールでのグローバルロールとオブジェクトロールを管理する新機能データクラスを管理し、セマンティックタイプに代わる新しいデータクラスグループ秘密度ラベルを使うための新しい秘密度ラベル詳細は、Talend Data Catalog REST APIのドキュメンテーションページでSee General Documentationリンクをクリックしてください。
メタデータクエリー言語(MQL)の改善	レポート、ダッシュボード、ワークシートでメタデータクエリー言語を使用する際、属性に特殊文字の構文を使用する必要がなくなりました。ワークシートとダッシュボードでのレポート機能が改善され、データサンプリング、データプロファイリング、データ分類、オブジェクトとグローバルロール、ワークフローアクションに関連するシステムオブジェクトが新しくサポートされました。クエリーで使用できる新しいシステム属性については、以下の新しいワークシート属性を参照してください。詳細は、Talend Data Catalog REST APIのドキュメンテーションページでSee General Documentationリンクをクリックしてください。
新しいワークシート属性	来歴属性として`Has Semantic Usage`、`Has Semantic Definition`、`Has Data Lineage`、`Has Data Impact`が新しく追加され、未使用のオブジェクトを検出できるようになりました。これらの属性はフィルターとして使うこともできます。データ分類属性として、`Data Classifications`、`Data Classification Matched`、`Data Classification Rejected`、`Data Classification Approved`が新しく追加されました。ドキュメンテーション属性として、以下が新しく追加されました。 `Term Documentation`: オブジェクトをドキュメント化する用語(名前と説明)のリストを表示します。 `Mapped Documentation`: オブジェクトをドキュメント化し、セマンティックにマッピングされたオブジェクトのリストを表示します。 `Inferred Documentation`: パススルーデータの来歴や影響を通じてオブジェクトを間接的にドキュメント化した用語のリストを表示します。 `Documentation`: オブジェクトの要約されたドキュメンテーションを表示します。要約されたドキュメンテーションは、次の優先順位に従ってオブジェクトで最初に見つかったドキュメンテーションを返します。[Business Documentation] (ビジネスドキュメンテーション)> [Term Documentation] (用語集ドキュメンテーション) > [Mapped Documentation] (マッピング済みドキュメンテーション) > [Inferred Documentation] (推測済みドキュメンテーション)> [Imported (Documentation)] (インポート済みドキュメンテーション) > [Searched (Documentation)] (検索済み(ドキュメンテーション)) 用語集属性として、用語のリストを表示する`Is Defined By`と`Long Description`が新しく追加されました。データプロファイリング属性として、`Data Profiling`、`Distinct`、`Duplicate`、`Empty`、`Valid`、`Invalid`、`Min`、`Max`、`Mean`、`Variance`、`Median`、`Lower Quantile`、`Upper Quantile`、`Avg Length`、`Min Length`、`Max Length`、`Inferred Data Types`が新しく追加されました。ソーシャルキュレーションに関連する属性として、`Certified By`、`Endorsed By`、`Commented By`、`Warned By`が新しく追加されました。 `Endorsement Count`、`Comment Count`、`Warning Count`という新しい属性が、人気のあるオブジェクトと共にワークシートやダッシュボードを作成できるフィルターのリストに追加されました。ワークフロー属性として、`Workflow State`、`Workflow Published`、`Workflow Deprecation Requested`が新しく追加され、ワークフロープロセスに関与するモデルのあらゆるオブジェクトに適用されるようになりました。 [Responsibilities] (責任)タブに`Stewards`という新しい属性が追加されました。 `Parent Object Name`属性と`Parent Object Type`属性が追加されました。オブジェクトロールはカラムやフィルターとして使用できます。たとえばフィルターの場合は`expandedMembersOfRole('Steward') = ANY('Business Users')`となり、検索の場合は`membersOfRole('Steward')`となります。オブジェクトの関係/子はカラムとして使用できます。
サードパーティ製のオープンソースソフトウェア	セキュリティの改善と脆弱性への対策として、サードパーティ製のオープンソースソフトウェアはすべて最新バージョンにアップグレードされました。
セキュリティの改善	セキュリティ上の理由から、デフォルトではメタデータ収集の参照パスが*として定義されなくなりました。そのため、どのドライブ、ディレクトリー、ファイルでも参照できるわけではなくなりました。管理者は、セットアップUIかコマンドラインを使ってファイル参照の範囲を定義する必要があります。セキュリティ上の理由(高機密性エンドポイントがSwagger認証がされていないため)から、MMDoc.war (REST API ヘルプ)などのTomcat Webアプリケーションはデフォルトでは有効化されなくなりました。このようなアプリケーションはtomcat/webappsからtomcat/devに移動しました。必要であれば、セットアップUIまたはコマンドラインで`Setup.bat -we mmdoc`を使って有効にできます。これによりtomcat/MetaIntegration/localhostにMMDoc.xmlというコンテキストが作成され、Webアプリケーションが利用可能になって起動します。
CSVへのエクスポート機能を改善	エクスポート済みCSVファイルが改善され、BOM (バイトオーダーマーク)が含まれるようになりました。