Microsoft Azure Data Lake Storage (ADLS) Gen2ファイルシステム - インポート

ブリッジの仕様

ベンダー	Microsoft
ツール名	Azure Data Lake Storage (ADLS)ファイルシステム
ツールバージョン	Gen2
ツールのWebサイト	https://azure.microsoft.com/en-us/services/storage/data-lake-storage/
サポートされている方法論	[ファイルシステム] マルチモデル、Java API経由のデータストア(NoSQL / 階層)
データプロファイリング
増分収集
マルチモデル収集
モデル選択のためのリモートリポジトリーの参照

仕様
ツール: Java API経由のMicrosoft / Azure Data Lake Storage (ADLS)ファイルシステムバージョンGen2
https://azure.microsoft.com/en-us/services/storage/data-lake-storage/をご覧ください
メタデータ: [ファイルシステム] マルチモデル、データストア(NoSQL / 階層)
コンポーネント: MicrosoftAzureDataLakeStorageGen2バージョン11.2.0

免責事項
このインポートブリッジでは、インターネットに接続して次のサードパーティライブラリーをダウンロードする必要があります:
- オープンソースのサードパーティライブラリーをダウンロードする場合はhttps://repo.maven.apache.org/maven2/など
- その他のサードパーティソフトウェア(データベース特定のJDBCドライバーなど)は該当するサイトへ

ダウンロードされたサードパーティライブラリーは、$HOME/data/download/MIMB/に格納されています。
HTTPSが失敗した場合、インポートブリッジはHTTPを試します。
- インターネットへのアクセスにプロキシを使用している場合は、JREでそのプロキシを設定する必要があります(Miscellaneousパラメーターで -j オプションをご覧ください)。
- インポートブリッジではインターネットにフルにアクセスできない場合は、インターネットアクセスがある別のサーバーから$HOME/data/download/MIMB/ディレクトリーをコピーします。$HOME/bin/MIMB.sh (または.bat) -dというコマンドを使えば、すべてのブリッジで使用される全サードパーティライブラリーを一度にダウンロードできます。

このインポートブリッジを実行すると、ライセンス規約の責任、およびダウンロードしたサードパーティソフトウェアライブラリーによって生じる潜在的なセキュリティの脆弱性を受け入れることになります。

概要
このインポートブリッジは、Microsoft Azure Data Lake Storage Serviceに実装されたデータレイクをクロールし、(データカタログの目的で)すべてのファイルからメタデータを検出(リバースエンジニアリング)します。
これには、データストラクチャー(CSVテーブル、JSON階層など)やデータ型(整数、日付、文字列など)のデータサンプリングドリブンメタデータの発見が含まれます。

要件
該当なし

認証
Accountパラメーター値とSecretパラメーター値に基づいて、次のいずれかの認証方法を使います。

- Microsoft Azureアクセスキー:
Account = ストレージアカウント
Secret = アクセスキーなど
CHooPyc1B2ec4WAYcC8o/Yw6kxEyXGx6QhOXw7sABH2GbK6bpgJb7BT73dneQiW9jlQzxDssbkWycSMIeZIVfA=

- Microsoft Azure Shared Access Signature (SAS)トークン:
アカウント = ストレージアカウント
シークレット = SASトークンなど
?sv=2015-12-11&ss=bfqt&srt=sco&sp=rwdlazxpx&se=2040-10-01T19:16:45Z&st=2020-10-01T11:16:35Z&spr=https&sig=PUDjdH3wZ2NqO49pNJIex5sIz9OKMBSE77b4pbKWXxI%3D
詳細は、https://docs.microsoft.com/en-us/azure/storage/common/storage-sas-overviewからご覧ください。

- Microsoft Azure Key Vaultシークレット:
アカウント = ストレージアカウント
シークレット = VaultURLなど
Azureの場合: https://My-vault-01.vault.azure.net/secrets/My-secret-01
Amazonの場合: arn:aws:secretsmanager:us-east-1:111222333444:secret:My-secret-01"
Googleの場合: projects/351268939776/secrets/My-secret-01/バージョンs/1
詳細は、https://docs.microsoft.com/en-us/azure/key-vault/secrets/をご覧ください。

- Microsoft Azureの一時認証情報(外部でMMが管理されているクラウドアイデンティティ):
アカウント = ストレージアカウント
シークレット = ""
これは、シークレットパラメーターが空の場合にデフォルトで最初に試行される認証方法です。
詳細は、メタデータ収集のためのクラウドID管理に関するメタデータ管理(MM) / データカタログ / データガバナンスアプリケーションのドキュメンテーションをご覧ください。

- Microsoft Azure Managed Service Identity (MSI):
アカウント = ストレージアカウント
シークレット = /
または
シークレット = TenantID/Application(client) ID、例: 4d33abfb-7bd8-54ba-bc97-5890aaa16040/ba8f6a23-3d6e-4fbf-a561-2e36a79c3701
VMは複数のユーザーIDを持つよう設定できます。使用するユーザーIDをTenantID/ApplicationIDで指定する必要があります。

VMが持つIDが1つ(システムなど)である場合は、その詳細を知る必要はなく、Secret = /のように / 文字で指定します。
詳細は、https://docs.microsoft.com/en-us/azure/active-directory/managed-identities-azure-resources、https://hadoop.apache.org/docs/stable/hadoop-azure/abfs.html#Azure_Managed_Identityをご覧ください。

Azure Data Lake Storageデータベース:
インポート、テスト、参照を行うためには、ユーザーに"Storage Blob Data Reader"という権限が必要です。

- Active Directory:
[Active Directory認証]を利用するため、[クラウドアイデンティティを管理]の下に新しい「クラウドID」を追加します。必要な属性を指定します:

タイプ - Microsoft Azure
ディレクトリー(テナント) ID
アプリケーション(クライアント) ID
アプリケーション(クライアント)シークレット

この「クラウドID」は、このブリッジのインポート設定で指定する必要があります。
[Active Directory認証]方式が使われている場合は、[シークレット]パラメーターを空にする必要があります。

PERMISSIONS
該当なし

よくある質問
Q: [System assigned managed identity] (システムによって割り当てられたマネージドID)の場合は、仮想マシン用に何を置き換える必要がありますか?
A: 顧客IDを、自動作成されたエンタープライズアプリケーションのアプリケーションIDに置き換える必要があります。

Q: パーティションディレクトリーを指定した場合、包含フィルターは何のためにあるのですか?
A: インポートを高速化すると同時に、提供されたルーツの下にあるどのフォルダーもスキャンしないようにするため、包含フィルターを使用します。そのため、パーティションを認識させるために包含パラメーターを指定する必要はありません。

Q: 提供されたルートの下にあるディレクトリーをすべて階層1レベルのパーティションとして扱い、そのサブディレクトリー名をパーティション機能名として使用するようブリッジに指示するにはどうしたらよいでしょうか?
A: [*]/{*}/*.csv

Q: Private Blob Storage用に設定されたADLSにはどう接続すればよいですか?
A: プライベートのBlob Storageは、ストレージアカウントへのパブリックアクセスが無効であり、プライベートのエンドポイント接続が確立されたことを示します(プライベートリンク）。このエンドポイントは、このBlob Storageアカウントにアクセスするために特定の仮想ネットワーク経由でアクセスを許可します。Private Blob Storageを介して実装されたセキュリティのため、DFSターゲットサブリソースを持つプライベートリンクとBLOBターゲットサブリソースを持つプライベートリンクを作成する必要があります。ブリッジはBLOB APIを介してコンテナーを列挙しチェックするので、このAPIはメタデータの処理に関与します。最終的には、次の2つのプライベートリンクが存在することが必要です: DFSターゲットサブリソース、およびBLOBターゲットサブリソースとの2番目のプライベートリンク、そしてこのブリッジドキュメントの「認証」セクションで言及された上述の「ロール」。
最後に、MMサーバーのオペレーティングシステムでhostsファイルを編集する必要があります。
設定されたPrivate Blob Storageアカウントに正しく接続するためには、MM Serverオペレーティングシステムのhostsファイルを変更し、Blobストレージのホスト名とPrivatelink URLを含める必要があります。例:
*MM IP* abc123.blob.core.windows.net
*MM IP* abc123.privatelink.blob.core.windows.net

さらに、「階層」ホスト名の代わりにファイルシステム名で接続するようRoot directoryパラメーターを設定する必要があります。

制限事項
現在判明している一般的な制限事項は、MIMB Known Limitationsか、バンドルされているDocumentation/ReadMe/MIMBKnownLimitations.htmlを参照してください
該当なし

サポート
トラブルシューティングパッケージを次の項目と共に提供してください。
- デバッグログ(UIまたはconf/conf.propertiesでMIR_LOG_LEVEL=6を使って設定可能)
- 利用できる場合はメタデータバックアップ(技術的理由によりこの共通オプションが実装されていないブリッジがあるものの、Miscellaneousパラメーターで-backupオプションを使って設定可能)
該当なし

サポートされているファイル
データ定義 / スキーマ / メタデータファイルの形式(データなし):
- 通常はメインフレームからの固定幅ファイル(以下の詳細を参照)
- 通常はメインフレームからのCOBOL COPYBOOKファイル(以下の詳細を参照)
- W3C XML XSD (XMLスキーマの定義)

テキストデータのファイル形式(データサンプリングドリブンメタデータの発見):
- CSVなどの区切り付き(フラット)ファイル(以下の詳細を参照)
- Open Office Excel XML .XSLX (以下の詳細を参照)
- W3C XML (XML XSDから定義されていない)
- JSON (JavaScript Object Notation) (以下の詳細を参照)

バイナリデータファイルの形式(スキーマの定義をヘッダーまたはフッターとして含む):
- Apache Avro (以下の詳細を参照)
- Apache Parquet (以下の詳細を参照)
- Apache ORC (以下の詳細を参照)

上記形式の圧縮バージョンもサポートしています:
- ZIP (アーカイブ形式ではなく圧縮形式として)
- BZIP
- GZIP
- LZ4
- Snappy (HadoopネイティブSnappy形式ではなく、標準のSnappy形式として)

区切り付きファイル
このブリッジは区切り付きファイル(別名フラットファイル)タイプのデータファイルからメタデータを検出(リバースエンジニアリング)します。
この区切り付きファイルの検出は、ファイル拡張子(.CSVや.PSVなど)ではなくファイルコンテンツのサンプリングに基づいて行われます。

ブリッジはヘッダー行を検出し、それを使ってフィールド名を作成します。検出できない場合はジェネリックのフィールド名が作成されます。

ブリッジは、デフォルトで含まれている次のフィールドセパレーターを自動的に検出できるよう、最大100行までサンプリングします。
, (コンマ)、; (セミコロン)、: (コロン)、\t (タブ)、| (パイプ)、0x1 (Ctrl + A)、BS (\u0008)
また、自動検出の過程でさらに多くのセパレーター(二重文字など)が追加されることもあります。

サンプリング中にブリッジはファイルデータ型(DATE、NUMBER、STRINGなど)の検出も行います。

固定幅ファイル
このブリッジは固定幅ファイルタイプのデータファイルにメタデータを作成します。
このメタデータは、データファイル(customers.dat、または拡張子がない単なるcustomersなど)のサンプリングによって自動的に検出(リバースエンジニアリング)されることはありません。
したがってこのブリッジは、拡張子が.fixed_width_file_definitionである「固定幅ファイル定義」ファイルをインポートします。
たとえばcustomers.dat.fixed_width_file_definitionという形式のファイルであれば、名前にファイルカスタマーが含まれ、内部に定義済みフィールドを持つメタデータが作成されます。
これは固定幅ファイルに対するRDBMS DDLに相当します。このように長い拡張子を付けることで、このデータ定義ファイルは、その拡張子が含まれている各ファイルシステムのディレクトリー内で実際のデータファイルと共存できるようになります。

「固定幅ファイル定義」ファイル形式は次のように定義されます:
- フォーマットファイルは次のヘッダーで始まる必要があります:
カラム名、オフセット、幅、データ型、コメント
- オフセットはすべて一意で、0以上であることが必要です。
a,0
b,4
- オフセットが存在するカラムと存在しないカラムがある場合、ファイル形式は無効です。
a,0
b,
c,4
- 一部のカラムにオフセットは存在しないものの幅はある場合、アプリケーションはそのようなカラムが順序指定されているものと想定し、幅に基づいてオフセットを計算します。
a,,4 -> a,1,4
b,,25 -> b,5,25
- オフセットが存在する場合、アプリケーションは幅を無視します。これは幅がオフセットから計算されるためです。
a,1,4
b,5,25
- タイプとコメントはドキュメンテーションとしてのみ使用されます。
a,1,4,int
b,5,25,char[25],identifier

このブリッジは次のデータ型を検出します: 整数、浮動小数点、文字列、日付、ブール値

COBOL COPYBOOKファイル
このブリッジはCOBOL COPYBOOKファイル(データ定義を含む)のみインポートするため、実際のCOBOLデータファイルからメタデータを検出(リバースエンジニアリング)することはありません。
このようなCOBOL COPYBOOKファイルの検出は、ファイル拡張子(.CPYなど)ではなくファイルコンテンツのサンプリングに基づいて行われます。

このブリッジは、真にフラットでバイト位置が定義されたレコード構造が反映される[物理階層モデル]を作成します。これはDI/ETLプロセスへのスティッチングに便利です。したがって、物理モデルにはフラットレコードの定義に必要な物理エレメントがすべて存在します。これは、すべてのエレメントが含まれている1つのテーブルです。適切なブリッジパラメーターが設定されている場合はOCCURSエレメントに複数のカラムが含まれます。

現在、このブリッジはCOPY動詞をサポートしておらず、COPYステートメントが始まる行と位置で解析エラーをレポートします。CopyステートメントでCopybookをインポートするためには、含まれている配置済みセクションと共に拡張Copybookファイルを作成(COPY動詞を置換)します。大半のCOBOLコンパイラーには、COPYステートメントとREPLACEステートメントを拡張して前処理されたCopybookのみを出力するオプションがあります。

よくある質問:
Q: デフォルトの開始カラムが「6」でデフォルトの終了カラムが「72」なのはなぜですか?
A: ブリッジパーサーは1ではなく0からカラムのカウントを開始します。そのため、デフォルトでは標準の最初の6カラムを行番号用に、次のカラムをコメントインジケーター用に残し、(80のうち)最後の8カラムを追加の行コメント情報用に残します。

EXCEL (XLSX)ファイル
このブリッジは、Excel XML形式(XLSX)タイプのデータファイルからメタデータを検出(リバースエンジニアリング)します。
このExcelファイルの検出は.XLSXというファイル拡張子に基づいて行われます。

ブリッジはヘッダー行を検出し、それを使ってフィールド名を作成します。検出できない場合はジェネリックのフィールド名が作成されます。

ブリッジは1000行までサンプリングし、DATE、NUMBER、STRINGといったファイルのデータ型を検出します。

Excelファイルに複数のシートがある場合、各シートは同じシート名のファイルやテーブルと相当する項目としてインポートされます。

このブリッジは、マシンのローカルファイルシステムを使ってファイルを読み取り、文字セットエンコーディングファイルの用途を指定できるようにします。

このブリッジはExcelのCSVの側面をインポートするだけであり、ExcelのBI/分析の側面(ピボットテーブルやチャートなど)はサポートしません。

W3C XMLファイル
このW3C XMLインポートブリッジは、他のファイルインポートブリッジ(CSV、XLSX、Json、Avro、Parquetなど)と連動して、すべてのデータレイクやファイルクローラーインポートブリッジ(ファイルシステム、Amazon S3、Hadoop HDFSなど)によって使用されます。

このXMLインポートの目的は、XMLがXMLスキーマ(XSDまたはDTD)によって正式に定義されなかった場合に、そのコンテンツからモデルやスキーマをリバースエンジニアリングすることにあります。
そのようなXMLファイルは、データレイクにアップロードされたIoTデバイスでよく見られるものです。

ただしそのようなXMLファイルは、(特にXMLテキスト宣言、正しい形式で解析されたエンティティ、エンティティの文字エンコーディングに関して)W3Cに完全準拠するものと想定されています。
詳細はW3C標準を参照してください:
https://www.w3.org/TR/xml/#sec-TextDecl

警告: その他すべての必要に対しては、次のようなXMLベースの専用のインポートブリッジを使用する必要があります:
- その他の標準W3C XMLインポートブリッジ(DTD、XSD、WSDL、OWL/RDLなど)
- ツール固有のXMLインポートブリッジ(Erwin Data Modeler XML、Informatica PowerCenter XMLなど)

JSONファイル
このブリッジは、Java APIを使ってJSONファイルからメタデータをインポートします。
このブリッジはストリーミングパーサーを使ってJSONファイル全体をロードします。そのため、大型のリモートのJSONファイルの場合は時間がかかることがありますが、サイズの制限はありません。
このブリッジはメタデータ(JSON階層ストラクチャー)を抽出し、次の標準JSONデータ型を検出します。
定義元: https://www.json.org/
- 文字列 {"stringSample" : "some text", "stringDateSample" : "Thu Apr 06 2017 09:41:51 GMT+0300 (FLE Standard Time)", "expStringSample" : "2.99792458e8"}
- 数字 {"expNumberSample": 2.99792458E8, "numberSample": 3, "floatSample": 3.141592653589793}
- 配列 {"arraySample": [1,2,3]}
- True {"booleanSample": true}
- False {"booleanSample": false}
- Null {"nullSample": null}

また、次の実装固有のデータ型がサポートされています。
MongoDB拡張機能:
- 識別子 {"_id": {"$oid": "50a9c951300493f64fbffdb6"}}
- 日付 {"dateExample" : { "$date" : "2014-01-01T05:00:00.000Z"}}
- POSIX日付 {"isoDateExample" : { "$date" : 1491461103897 }}
- タイムスタンプ {"timestampExample" : { "$timestamp" : { "t" : 1412180887, "i" : 1 } }}
- 数字 {"numberLongExample": {"$numberLong": "7494814965"}}

CouchDB拡張機能:
- 識別子 {"_id":"someId","_rev":"1232343467"}

APACHE AVRO FILES
このブリッジはJava APIを使ってAvroファイルからメタデータをインポートします。
このブリッジはデータドリブンメタデータの発見は行いませんが、Avroファイルのヘッダー(上部)でスキーマ定義を読み取ります。

このブリッジは、次の標準的なAvroデータ型を検出します。
https://avro.apache.org/docs/current/spec.html#schema_primitive

null - 値なし
boolean - バイナリ値
int - 32ビット符号付き整数
long - 64ビット符号付き整数
float - 単精度(32ビット) IEEE 754浮動小数点数
double - 倍精度(64ビット) IEEE 754浮動小数点数
bytes - 8ビット符号なしバイト型のシーケンス
string - Unicode文字のシーケンス

APACHE PARQUETファイル
このブリッジは、Java APIを使ってParquetファイルからメタデータをインポートします。
このブリッジはデータドリブンメタデータの発見は行いませんが、Parquetファイルのフッター(下部)でスキーマ定義を読み取ります。そのためこのブリッジは、最後にスキーマ定義に到達できるようParquetファイル全体をロードする必要があります。

Parquetファイルが圧縮されていない場合、ブリッジがデータ部分をフッターまで自動的にスキップするので、ファイルサイズの制限はありません(ただし大型のParquetファイルでは時間がかかることがあります)。ただし、Parquetファイルが圧縮されている場合、ブリッジはまずファイル全体をダウンロードして解凍する必要があります。従ってそのような場合はデフォルトで10MBのファイルサイズ制限がありますが(それ以上のファイルは無視されます)、この制限値はMiscellaneousパラメーターで増やすことができます。

このブリッジは、次の標準的なParquetデータ型を検出します。
定義元: https://parquet.apache.org/documentation/latest

BOOLEAN: 1ビットブール値
INT32: 32ビット符号付き整数
INT64: 64ビット符号付き整数
INT96: 96ビット符号付き整数
FLOAT: IEEE 32ビット浮動小数点値
DOUBLE: IEEE 64ビット浮動小数点値
BYTE_ARRAY: 任意的に長いバイト配列

APACHE ORCファイル
このブリッジは、Java APIを使ってORCファイルからメタデータをインポートします。
このブリッジはデータドリブンメタデータの発見は行いませんが、ORCファイルのヘッダー(上部)でスキーマ定義を読み取ります。

このブリッジは、次の標準のORCデータ型を検出します。
定義元: https://orc.apache.org/docs/types.html

整数: boolean (1ビット)、tinyint (8ビット)、smallint (16ビット)、int (32ビット)、bigint (64ビット)
浮動小数点: float、double
文字列型: string、char、varchar
バイナリblob: binary
日時: timestamp、ローカルタイムゾーン付きtimestamp、zone
複合型: struct、list、map、union

詳細
詳しい例については、各パラメーターのツールチップをご覧ください。
該当なし

ブリッジパラメーター

ブリッジのマッピング

マッピング情報は利用できません