Talendデータカタログメタデータ収集の設定 - 7.1

Windows版Talend Data Catalogインストールおよびアップグレードガイド

EnrichVersion
7.1
EnrichProdName
Talend Big Data Platform
Talend Data Fabric
Talend Data Management Platform
Talend Data Services Platform
Talend MDM Platform
Talend Real-Time Big Data Platform
EnrichPlatform
Talend Data Catalog
task
インストールとアップグレード

サードパーティデータベース、データモデリング、Data Integration、またはビジネスインテリジェンスツールからのメタデータ収集は、統合されたTalendデータカタログメタデータ収集ソリューションによって行われます。

デフォルトでは、インストーラーソフトウェアはTalendデータカタログTalendデータカタログメタデータ収集の両方を同じマシン上でデプロイし、設定します。そのマシンで、Talendデータカタログアプリケーションサーバーが[Metadata Harvesting Web Services] (メタデータ収集Webサービス)にローカルにアクセスします。

メタデータ収集は、リモートメタデータ収集エージェントとして別のマシンにインストールし、設定することもできます。これは、メタデータ管理サーバーがデプロイされているアーキテクチャーデプロイ内で非常に有用です。

  • クラウドでリモートに: メタデータ収集サーバー(エージェント)にオンプレミスでローカルにアクセスする必要があります。または
  • Linuxで: データモデリング、データ統合、またはビジネスインテリジェンスクライアントツールがWindows限定であるWindowsマシン上のメタデータ収集サーバー(エージェント)にアクセスする必要があります(COMベースのSDKなど)。
Metadata Harvesting Application Serverの不可欠なカスタマイズ(ディレクトリーやメモリなど)は、<TDC_HOME>\TalendDataCatalog\conf\conf.properties設定ファイル内で実行できます。
パラメーター名 説明
M_BROWSE_PATH ローカルで、かつマッピングされたネットワークドライブを参照します。

メタデータ収集ファイルとディレクトリーパラメーター参照はすべて、サーバーに対して相対的です。サーバーは、別のイベント(スケジュール設定された収集など)が発生した時にいつでもこれらのリソースにアクセスできる必要があります。モデルを収集する時、ユーザーインターフェイスには、移動してこれらのファイルとディレクトリーを選択できる一連のパスが表示されます。

M_BROWSE_PATHパラメーターを設定すると、ユーザーインターフェイス内でどのドライブとネットワークパスを利用可能にするかを指定できます。M_BROWSE_PATHの更新は、setup.batで表示されるユーザーインターフェイス(アプリケーションサーバー上)を使うか、<TDC_HOME>\TalendDataCatalog\conf\conf.propertiesファイルを直接編集して行います。

インストール時に、セットには直接取り付けられたドライブがすべて含まれます。これはアスタリスク"*" (M_BROWSE_PATH=*)によって指定されています。

Windowsベースのアプリケーションサーバーの場合、サービスとして実行されている時に、ドライブ名(マッピング済み)とパスはログイン時に表示されるものとは異なる場合があります。したがって、UIを使ってドライブを選択する時に、予想していたすべてのドライブに"*"の値が付いているとは限りません。代わりに、すべてのユーザーに利用を許可するように設定したいすべてのドライブとネットワークのパスを、UIで明示的にリスト表示する必要があります。

また、マッピングされたドライブID (N:\など)を単に入力するだけでは不十分です。そのドライブマッピングは一般にサービスで利用できないからです。したがって、物理ドライブは文字で指定しますが、ネットワークパスは完全に指定する必要があります。例:

M_BROWSE_PATH=C:\, E:\, \\network-drive\shared\

注: これは、スクリプトのバックアップとドライブの復元にも適用されます。
M_DATA_DIRECTORY ログファイルなどのデータを(さらに、非常に大きなデータ統合やビジネスインテリジェンスツールに必要な場合には、メタデータ増分収集キャッシュも)再配置します。
M_JAVA_OPTIONS 非常に大きなデータベース、データモデリング、データ統合、またはビジネスインテリジェンスツールのメタデータ収集中にJavaブリッジが使う最大メモリを増加します。

このパラメーターは、すべてのJavaブリッジのデフォルトの最大値を定義します。ただし、メモリを最も集中的に使用するJavaブリッジ(JDBCブリッジなど)には、Miscellaneousという名前の最後のパラメーターを使って自らの最大メモリを定義する機能があります。

Metadata Harvesting Application Serverが使われている時には、ローカルメタデータ収集エージェントがクラウド上のTalendデータカタログアプリケーションサーバーに接続され、<TDC_HOME>\TalendDataCatalog\conf\agent.properties設定ファイル内に追加のカスタマイズが必要です。
パラメーター名 説明
M_SERVER_URL http://<server>:11480/MMなど、クラウド上のTalendデータカタログアプリケーションサーバーのURLです。
M_AGENT_NAME MyCompanyOnPremiseなどのエージェント名。上記のTalendデータカタログアプリケーションサーバーが、このメタデータ収集サーバーエージェントを参照するために使います。