OpenStack Swift Object Storeファイルシステム - ベータ版 - インポート

ブリッジの仕様

ベンダー	OpenStack
ツール名	Swift Object Store ファイルシステム
ツールバージョン	1.0
ツールのWebサイト	https://www.openstack.org/software/releases/queens/components/swift
サポートされている方法論	[ファイルシステム] マルチモデル、データストア(NoSQL / 階層) REST API経由の
データプロファイリング
増分収集
マルチモデル収集
モデル選択のためのリモートリポジトリーの参照

仕様
ツール: REST API経由のOpenStack / Swift Object Storeファイルシステムバージョン1.0
https://www.openstack.org/software/releases/queens/components/swiftをご覧ください
メタデータ: [ファイルシステム] マルチモデル、データストア (NoSQL / 階層)
コンポーネント: OpenStackSwiftバージョン11.2.0

概要
このインポートブリッジは、OpenStack Swiftに実装されたデータレイクをクロールし、(データカタログの目的で)すべてのデータファイルからメタデータを検出(リバースエンジニアリング)します。

要件

SUPPORTED FILES

This import bridge supports the following file formats:
- Delimited (Flat) files such as CSV (see details below)
- Positional (Fixed Length) files typically from mainframe (see details below)
- COBOL COPYBOOK files typically from mainframe (see details below)
- Open Office Excel XML .XSLX (see details below)
- W3C XML
- JSON (JavaScript Object Notation)
- Apache Avro
- Apache Parquet
- Apache ORC

as well as the compressed バージョンs of the above formats:
- ZIP (as a compression format, not as archive format)
- BZIP
- GZIP
- LZ4
- Snappy (as standard Snappy format, not as Hadoop native Snappy format)

DELIMITED FILES

This import bridge detects (reverse engineer) the metadata from a data file of type Delimited ファイル (also known as Flat ファイル).
この区切り付きファイルの検出は、ファイル拡張子(.CSVや.PSVなど)ではなくファイルコンテンツのサンプリングに基づいて行われます。

インポートブリッジはヘッダー行を検出し、それを使ってフィールド名を作成します。検出できない場合はジェネリックのフィールド名が作成されます。

インポートブリッジは、デフォルトで含まれている次のフィールドセパレーターを自動的に検出できるよう、最大1000行までサンプリングします。
, (コンマ)、; (セミコロン)、: (コロン)、\t (タブ)、| (パイプ)、0x1 (Ctrl + A)
また、自動検出の過程でさらに多くのセパレーター(二重文字など)が追加されることもあります。

サンプリング中にインポートブリッジはファイルデータ型(DATE、NUMBER、STRINGなど)の検出も行います。

固定長ファイル

このインポートブリッジは、定位置ファイル(別名「固定長ファイル」)タイプのデータファイルのメタデータを作成します。
このメタデータは、データファイル(customers.dat、または拡張子がない単なるcustomersなど)のサンプリングによって自動的に検出(リバースエンジニアリング)されることはありません。
したがって、このインポートブリッジは、.positional_file_definitionという拡張子を持つ形式のファイルでなければならない「固定長」ファイルをインポートします。
(たとえばcustomers.dat.positional_file_definitionという形式のファイルは、内部でフィールドが定義されたfile customersという名前のファイルのメタデータを生成します)
これは固定長ファイルのRDBMS DDLと同等です。このように長い拡張子を付けることで、このデータ定義ファイルは、その拡張子が含まれている各ファイルシステムのディレクトリー内で実際のデータファイルと共存できるようになります。

「固定幅ファイル定義」ファイル形式は次のように定義されます:
- フォーマットファイルは次のヘッダーで始まる必要があります:
カラム名、位置、幅、データ型、コメント
- 位置はすべて一意で、0以上であることが必要です。
a,1
b,5
- 位置が存在するカラムと存在しないカラムがある場合、ファイル形式は無効です。
a,1
b,
c,5
- 一部のカラムに位置は存在しないものの幅はある場合、アプリケーションはそのようなカラムが順序指定されているものと想定し、幅に基づいて位置を計算します。
a,,4 -> a,1,4
b,,25 -> b,5,25
- 位置が存在する場合、アプリケーションはドキュメンテーションでのみ幅を使用します。
a,1,4
b,5,25
- タイプとコメントはドキュメンテーションとしてのみ使用されます。
a,1,4,int
b,5,25,char[25],identifier

COBOL COPYBOOKファイル

このインポートブリッジがインポートできるのはCOBOL COOPYBOOKファイル( データ定義が含まれる)のみであるため、実際のCOBOLデータファイルからメタデータを検出(リバースエンジニアリング)することはできません。
このようなCOBOL COPYBOOKファイルの検出は、ファイル拡張子(.CPYなど)ではなくファイルコンテンツのサンプリングに基づいて行われます。

このブリッジは、真にフラットでバイト位置が定義されたレコード構造が反映される[物理階層モデル]を作成します。これはDI/ETLプロセスへのスティッチングに便利です。したがって、物理モデルにはフラットレコードの定義に必要な物理エレメントがすべて存在します。これは、すべてのエレメントが含まれている1つのテーブルです。適切なインポートブリッジパラメーターが設定されている場合はOCCURSエレメントに複数のカラムが含まれます。

現在、このインポートブリッジはCOPY動詞をサポートしておらず、COPYステートメントが始まる行と位置で解析エラーをレポートします。CopyステートメントでCopybookをインポートするためには、含まれている配置済みセクションと共に拡張Copybookファイルを作成(COPY動詞を置換)します。大半のCOBOLコンパイラーには、COPYステートメントとREPLACEステートメントを拡張して前処理されたCopybookのみを出力するオプションがあります。

よくある質問
Q: デフォルトの開始カラムが[6]でデフォルトの終了カラムが[72]なのはなぜですか?
A: インポートブリッジパーサーは1ではなく0からカラムのカウントを開始します。そのため、デフォルトでは標準の最初の6カラムを行番号用に、次のカラムをコメントインジケーター用に残し、(80のうち)最後の8カラムを追加の行コメント情報用に残します。

EXCEL (XLSX)ファイル

このインポートブリッジは、Excel XML形式(XLSX)タイプのデータファイルからメタデータを検出(リバースエンジニアリング)します。
このExcelファイルの検出は.XLSXというファイル拡張子に基づいて行われます。

インポートブリッジはヘッダー行を検出し、それを使ってフィールド名を作成します。検出できない場合はジェネリックのフィールド名が作成されます。

インポートブリッジは1000行までサンプリングし、DATE、NUMBER、STRINGといったファイルのデータ型を検出します。

Excelファイルに複数のシートがある場合、各シートは同じシート名のファイルやテーブルと相当する項目としてインポートされます。

インポートブリッジは、マシンのローカルを使用してファイルを読み取り、文字セットエンコーディングファイルの用途の指定を可能にします。

制限事項
現在判明している一般的な制限事項は、MIMB Known Limitationsか、バンドルされているDocumentation/ReadMe/MIMBKnownLimitations.htmlをご覧ください

サポート
トラブルシューティングパッケージを次の項目と共に提供してください。
- デバッグログ(UIまたはconf/conf.propertiesでMIR_LOG_LEVEL=6を使って設定可能)
- 利用できる場合はメタデータバックアップ(技術的理由によりこの共通オプションが実装されていないブリッジがあるものの、Miscellaneousパラメーターで-backupオプションを使って設定可能)

ブリッジパラメーター

ブリッジのマッピング