Metadata Excel形式 - エクスポート

ブリッジの仕様

仕様
ツール: Excel 2007 (XLSX)ファイル経由のMeta Integration Technology, Inc. / メタデータExcel形式バージョンExcel 2003〜2010
http://metaintegration.com/Products/MIMB/をご覧ください。
メタデータ: [メタデータ管理] マルチモデル、 ETL (ソースとターゲットのデータストア、変換来歴、式解析、式変換)
コンポーネント: MicrosoftExcelバージョン11.2.0

免責事項
このインポートブリッジでは、インターネットに接続して次のサードパーティライブラリーをダウンロードする必要があります。
- オープンソースのサードパーティライブラリーのダウンロードはhttps://repo.maven.apache.org/maven2/などへ
- その他のサードパーティソフトウェア(データベース特定のJDBCドライバーなど)は該当するサイトへ

ダウンロードされたサードパーティライブラリーは、$HOME/data/download/MIMB/に格納されています。
HTTPSが失敗した場合、インポートブリッジはHTTPを試します。
- インターネットへのアクセスにプロキシを使用している場合は、JREでそのプロキシを設定する必要があります(Miscellaneousパラメーターで -j オプションをご覧ください)。
- インポートブリッジではインターネットにフルにアクセスできない場合は、インターネットアクセスがある別のサーバーから$HOME/data/download/MIMB/ディレクトリーをコピーします。$HOME/bin/MIMB.sh (または.bat) -dというコマンドを使えば、すべてのブリッジで使用される全サードパーティライブラリーを一度にダウンロードできます。

このインポートブリッジを実行すると、ライセンス規約の責任、およびダウンロードしたサードパーティソフトウェアライブラリーによって生じる潜在的なセキュリティの脆弱性を受け入れることになります。

概要
このインポートブリッジは、既存のインポートブリッジを利用できない技術やツールからメタデータ(レガシーのデータストアやETLツール、未サポート言語による手書きのETLジョブなど)をインポートすることを目的としています。

スプレッドシート編集ツールなどの生産性ツールは、業界全体を通じて物理データ、論理データ、ビジネスメタデータをキャプチャー、ドキュメント化、公開するために共通して使用されています。Microsoft Office Excelなどのツールはほぼ常に利用可能なので、選択肢としては特に一般的です。ビジネスユーザーが理解し使い慣れており、他のOfficeアプリケーションともシンプルなコピー＆ペーストの互換性があるほか、スペルの修正などの便利な機能が備わっています。そのような利点を活用できるよう、Microsoft Excelのインポートとエクスポートの機能が提供されています。

このインポートブリッジによってインポートされる項目は、複数のタブ(シート)を使用してさまざまなメタモデルアスペクトを表現する標準メタデータExcel形式に基づく、Microsoft Office Excelスプレッドシートで表現された物理データストア、論理データモデル、またはデータマッピングを表すメタデータです。
- データモデリングタブ: モデル、パッケージ、リレーションシップ、ドメイン、制約、列挙。
- データマッピングのタブ: マッピング、結合、フィルター、ルックアップ、ルール。

このインポートブリッジはメタデータを次の項目としてインポートします:
- データマッピング/データ統合モデル(マッピングが含まれている場合)
- 論理/物理データモデル(パッケージが含まれている場合)
- Oracleなどの物理データストア (それ以外の場合)

メタデータExcel形式のアドインにより、Excelリボン内に新しい[メタデータ]メニューが作成されます。これは、標準形式でデザインされたスプレッドシートのナビゲーションと管理に役立ちます。次のファンクションが含まれています:
- 新しいワークシートを[標準]形式で挿入
- 表示されるカラムを管理するファンクションを表示および非表示
- ワークシートでエントリーを注釈、フォーマット、検証

標準のメタデータExcel形式については、前にインポートされたデータベース、データモデル、データ統合ジョブからエクスポートされた例から学ぶことがベストです。
ただし、メタデータExcel形式はラウンドトリップのエクスポート、編集、インポートを行う目的ではデザインされておらず、したがってこれらの操作をサポートしていません。つまり、このインポートブリッジはメタデータをオンボーディングテクノロジーとしてインポートし、そのマッチングインポートブリッジはメタデータをレポーティング(複雑なDI/ETLジョブの要約来歴など)としてエクスポートします。

非推奨となったサポート終了機能に関する警告
既に説明したように、この「メタデータ Excel形式 」インポートブリッジは、独立した次の2つのユースケースにおいて、サポートされていないツール(ネイティブインポートブリッジは利用不可)をエミュレートするようにデザインされています:
1- データストア(データベース、ビジネスアプリケーションなど)をエミュレートするデータモデリング
2- データ統合(DI、ETL、ELT、CDC)をエミュレートするデータマッピング

この古い「メタデータ Excel形式」インポートブリッジをデータマッピングエミュレーション(上記のユースケース2)で使用することは2022年に非推奨となっており、2024年にはサポート終了(EOL)となります。
古いメタデータExcel形式(非推奨)と比較した場合、新しいデータマッピングスクリプト形式は次のような利点が数多く含まれています:
- データマッピングスクリプト形式はデータマッピングに対して完全なラウンドトリップ(エクスポート/インポート)をサポートしていますが、これは古いメタデータExcel形式では不可能です。後者の場合、エクスポートはレポーティング用、インポートはブートストラッピング用です。
- 分類子/テーブルマップや機能/カラムマップに基づいている非常に冗長なメタデータExcel形式のファイルに比べ、データマッピングスクリプト形式のファイルは一般的にとてもコンパクトです。
データマッピングスクリプト形式は、SQLベースのDI/ETL/ELT/CDCツールから生成しやすくなっています。
- データマッピングスクリプト形式はバルクマッピングとクエリーマッピングの両方をサポートしていますが、メタデータExcel形式はバルクマッピングの処理で大きな制限があります。
- データマッピングスクリプト形式は、メタデータExcel形式でサポートされているものよりも多くソースおよびターゲットのデータストア技術(RDBMS、NoSQL、ファイルシステム)をサポートしています。

要件
該当なし

よくある質問
Q: 2007よりも古いバージョンのExcelでXLSXファイルを読み取るにはどうすればよいですか?

A: Microsoftダウンロードセンターから[Microsoft Office Compatibility Pack for Word, Excel, and PowerPoint ファイル Formats]をインストールします。Office XPと2003をサポートしています。

Q: ログにある[メモリ不足]エラーメッセージを解決するにはどうすればよいですか?

A: エクスポートブリッジは、デフォルトで512MBのメモリを割り当てます。大規模なモデルの場合はこの量を増やすことができます。また、2GB以上必要な場合は64ビットのJava仮想マシンに切り替えることもできます。64ビットのJVMでは、$MetaIntegration/conf/conf.propertiesという設定ファイルを適切な-Xmxパラメーターでアップデートします。例:
M_JAVA_HOME=..\jre
M_JAVA_OPTIONS=-Xmx2G

制限事項
現在判明している一般的な制限事項は、MIMB Known Limitationsか、バンドルされているDocumentation/ReadMe/MIMBKnownLimitations.htmlをご覧ください。
生産性ツール(スプレッドシート編集ツールなど)は一般的に、業界全体で物理、論理、ビジネスメタデータをキャプチャー、ドキュメント化、公開するために使用されます。Microsoft Office Excelなどのツールはほぼ常に利用可能なので、選択肢としては特に一般的です。ビジネスユーザーが理解し使い慣れており、他のOfficeアプリケーションともシンプルなコピー＆ペーストの互換性があるほか、スペルの修正などの便利な機能が備わっています。そのような利点を活用できるよう、Microsoft Excelのインポートとエクスポートの機能が提供されています。

1. すべてのメタデータ出力スプレッドシートは標準形式で生成されます。これが直接サポートされている唯一の形式だからです。ローカルで定義されたスプレッドシートレイアウトへのエクスポートに対応するため、エクスポートブリッジによって生成される形式はハードコーディングされていませんが、各スプレッドシートのセルがニュートラルリポジトリーのメタモデルにどのように関連するかを指定する「空白の」スプレッドシートによって定義されています。この柔軟性は、コンサルティングサービスを通じて提供されるカスタマイズされた特定のエクスポートブリッジとしてのみ利用できます。

2. インポート(スプレッドシートからの読み取り)とエクスポート(スプレッドシートへの書き込み)の両方の機能が提供されていますが、これらの機能はラウンドトリップのリエンジニアリングをサポートするようには設計されていません。たとえば、マッピング要件をデザイン用のDI/ETLツールにフォワードエンジニアリングすることはできますが、DI/ETLツールからExcelにエクスポートして戻す目的は、内部の複数の複雑な変換のすべてと無関係にマッピング来歴サマリーを提供することであり、デザインをリエンジニアリングして再インポートすることではありません。

3. データデザインとアーキテクチャーツールのモデルはExcel内でのラウンドトリップのタイプ編集をサポートし、スペルチェック、カラムと行ベースのコピー＆ペースト、およびスプレッドシート環境に固有のその他の便利な機能を利用できます。この場合は、スプレッドシートにエクスポートし、そのツールに提供されている比較とマージの機能を活用して編集を行い、元のデザインツールに再インポートします。

4. 新しいソースまたはターゲットのデータストアは既存のスプレッドシートにエクスポートできます。ただし、現時点ではマージ機能やアップデート機能は提供されていません。Also, when importing an Excel spreadsheet into a DI/ETL tool, the receiving tool is responsible for integrating/merging the models and mappings within its existing バージョンs.

5. Specific assumptions and limitations are provided for each pre-defined format in the appropriate ${MODEL_BRIDGE_HOME}\conf\MIRModelBridgeTemplate\MIRMicrosoftExcel\*-Blank.xlsx file

6.Using a spreadsheet to manage metadata may have limitations in some cases. スプレッドシートの行として表される情報には実際の制限がありません。たとえば、モデルごとのエンティティ/テーブルの数、またはエンティティ/テーブルごとの属性/カラムの数は制限されていません。ただしユーザビリティの観点から、カラムとして表現される情報にはいくつかの制約があります。たとえば、モデル内のパッケージのネスト化、特定の属性/カラムを含める ことができるPK/FK/AKキーの数などです。さらに重要なのは、エンティティ/テーブル、属性/カラム、またはデータ型に割り当てられるカスタムUDPの数です。

サポート
トラブルシューティングパッケージを次の項目と共に提供してください:
- デバッグログ(UIまたはconf/conf.propertiesでMIR_LOG_LEVEL=6を使って設定可能)
- 利用できる場合はメタデータバックアップ(技術的理由によりこの共通オプションが実装されていないブリッジがあるものの、Miscellaneousパラメーターで-backupオプションを使って設定可能)

このエクスポートブリッジによって、Microsoft Office Excelスプレッドシートで表現されるメタデータを生成できます。このスプレッドシートには、単純なデータモデルから複雑なマッピングまで含めることができます。その場合は、ソースデータモデル、ターゲットデータモデル、その間のマッピングの定義するためにさまざまなExcelシートが使用されます。生成されたスプレッドシートはXLSX形式で提供されます。[ファイル]パラメーターは、このスプレッドシートの名前(「メタデータ出力スプレッドシート」と 呼ばれる)を含んでいる必要があります。

生成されるスプレッドシートはOffice 2007のXLSXファイルです。この種類のファイルをOffice 2003やOffice XPで読み取るためには、Microsoftから「互換性パック」をダウンロードしてインストールします。

このメタデータ出力スプレッドシートは、「標準」と呼ばれる特定の形式で提供されます。この形式および入力方法の例として、コンテンツとその意味を説明する定義を含むカラムヘッダー付きの可能なワークシートの完全なセットを含むStandard-Blank.xlsxファイルがあります。このファイルは、デフォルトで${MODEL_BRIDGE_HOME}\conf\MIRModelBridgeTemplate\MIRMicrosoftExcel\というディレクトリーにあります。

Excelの[アドイン]をベースとする[リボン] (メニュー)も提供されており、標準形式で設計されたスプレッドシートのナビゲーションと管理に役立ちます。以下のファンクションが含まれます:

- 新しいワークシートを[標準]形式で挿入
- 表示されるカラムを管理するファンクションを表示および非表示
- ワークシートでエントリーを注釈、フォーマット、検証
Microsoft Office Excelでこれらのオプションを有効にするには、ソフトウェア内に提供されているアドインをインストールする必要があります。アドインはMicrosoft Office Excel 2007と2003で提供されています。インストール手順の説明はエクスポートされたスプレッドシートに提供されています。[モデル]タイプのすべてのワークシートの[使用方法]セルのコメントセクションを参照してください。

ブリッジパラメーター

ブリッジのマッピング