リポジトリーをクリーンアップ - 8.0

Talend Data Catalogインストール&アップグレードガイド

Version
8.0
Language
日本語
Operating system
Linux
Product
Talend Big Data Platform
Talend Data Fabric
Talend Data Management Platform
Talend Data Services Platform
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Data Catalog
Content
インストールとアップグレード
Last publication date
2024-01-26

Talend Data Catalogサーバーをアップグレードする準備として、リポジトリーをクリーンアップする必要があります。

リポジトリーには、古いコンテンツや使われていないコンテンツが含まれている可能性があります。こうしたコンテンツも動作していてインデックスが作成されているため、データベースのパフォーマンスや容量に影響します。

データベースには20%以上の空き容量を確保するようにしてください。大規模なリポジトリーの場合、アップグレード処理に数時間かかる場合があるだけでなく、移行中の一時データ用に余分のスペースも必要となります。

リポジトリーデータベース管理者と連携して、データベースのクリーニングを行ってください。

空きスペースを作るために実行できるアクションを以下に示します。

使われていないテストやサンドボックスタイプのコンテンツを削除

  1. リポジトリー全体を参照して、使われていないコンテンツを特定します。
  2. リポジトリーマネージャーからコンテンツを削除します。

使われていないバージョンの設定を削除

設定管理プロセスでは、バックアップや履歴分析を目的として作成された設定のコピーが残されたり、メタデータ全体が収集されるたびに新しいバージョンが作成されたりします。

こうしたコピーは、データベースの容量やパフォーマンスに影響を与える可能性があります。また、ディスク容量やインデックスサイズ、検索パフォーマンスといったリソースも消費します。

以下の手順で、使われていない古いバージョンの設定を削除することをお勧めします。
  1. [Manage] (管理) > [System] (システム)に移動します。
  2. [Operations] (操作)ドロップダウンリストから[Get repository configuration statistics] (リポジトリー設定統計を取得)操作を実行します。

    設定の総数に占める設定のバージョン数が大きい場合は、以下のステップを実行します。

  3. リポジトリー全体を参照して、古いバージョンを特定します。
  4. リポジトリーマネージャーから古いバージョンを削除します。

使われていないバージョンのモデルを削除

使われていないバージョンの設定を削除するのと同じ理由で、使われていない古いバージョンのモデルも削除することをお勧めします。
  1. リポジトリー全体を参照して、古いバージョンを特定します。
  2. [Manage] (管理) > [Schedules] (スケジュール)に移動します。
  3. [Delete unused versions] (使われていないバージョンを削除)操作を設定して実行します。

    設定のどのバージョンでも使用されていなかったり、1時間以上前にインポートされたモデルのバージョンは、この操作によって削除されます。

モデル設定で増分収集オプションが有効になっていることを確認

増分収集オプションは、インポート時の処理時間と消費容量を削減します。モデルで変更のあった一部分のみが再インポートされ、新しいバージョンとしてリポジトリーデータベースに書き込まれます。残りのコンテンツは、新しいバージョンで再利用されます。この手法は、大規模なデータベースやファイルシステム、ビジネスインテリジェンスサーバーに適用されます。

このオプションは、手動で(Miscellaneousパラメーターに-cache.clearオプションを追加して)無効にできます。

それぞれの大規模モデルに対して、このオプションが手動で無効にされていないことを以下の手順で確認すべきです(利用可能な場合)。
  1. 各モデルのインポート設定を開きます。
  2. Miscellaneousパラメーターに-cache.clearオプションが表示されている場合は、これを削除します。
  3. 変更を保存します。

操作ログを削除

操作ログはインデックスが作成されておらず、パフォーマンスへの影響はありませんが、大きな容量を消費している可能性があります。この手法は、大規模なデータベースやファイルシステム、ビジネスインテリジェンスサーバーに適用されます。

以下の手順で、操作ログを削除することをお勧めします。
  1. [Manage] (管理) > [Schedules] (スケジュール)に移動します。
  2. [Delete operation logs] (作業ログを削除)操作を設定して実行します。

    この操作により、指定した日数よりも古い完了操作とそのログが削除されます。失敗した操作のログや、成功した操作と失敗した操作のログを削除できます。

システムの管理でデバッグログ記録オプションを無効化

デバッグログはインデックスが作成されておらず、パフォーマンスへの影響はありませんが、大きな容量を消費している可能性があります。この手法は、大規模なデータベースやファイルシステム、ビジネスインテリジェンスサーバーに適用されます。

このオプションを使ってチケットのテストやレポートを行った場合、作業が完了したらオプションを無効にすべきです。
  1. [Manage] (管理) > [System] (システム)に移動します。
  2. [Debug logging] (デバッグログ記録)フィールドで、ドロップダウンリストから[Disable] (無効)を選択します。

データベースメンテナンス操作を実行

データベースメンテナンス操作を実行し、以前実施したリポジトリーのクリーニングアクションを完了させる必要があります。
  1. [Manage] (管理) > [Schedules] (スケジュール)に移動します。
  2. [Run database maintenance] (データベースメンテナンスを実行)操作を設定して実行します。

    この操作では、データベースのインデックスと統計情報をメンテナンスできます。

    多数のコンテンツやバージョンを一度に削除した場合、この操作を複数回行う必要があります。

これで、Talend Data Catalogを最新のパッチでアップデートする準備ができました。