Hiveテーブルを使用してHDFSファイルへのプロファイリング分析を作成する方法
始める前に
HadoopディストリビューションおよびHDFSファイルへの接続が作成済みであること。
手順
-
[DQ Repository] (DQリポジトリー)ツリービューで、使用するHDFS接続を右クリックし、[Create Simple Analysis] (単純分析の作成)を選択します。
ダイアログボックスが開き、接続のHDFSスキーマがリスト表示されます。
-
[Check Connection] (接続チェック)をクリックして接続ステータスを確認し、[Next] (次へ)をクリックしてウィザードに新しいビューを開きます。そのビューには、選択したファイルのスキーマがリスト表示されます。
- オプション:
必要に応じて、テーブルに新しい名前を入力します。テーブル名には小文字を使用してください。Hiveはテーブルを小文字で保存します。
-
分析メタデータを設定し、[Finish] (終了)をクリックします。
選択したHDFSファイルの新しい分析が自動的に作成され、分析エディター内に開きます。シンプル統計インジケーターがカラムに自動的に割り当てられます。
分析は実際にHiveテーブルに適用されますが、外部テーブルメカニズムを使用してHDFSからのデータに基づいて統計を計算します。外部テーブルは、Hive外の元のファイルにデータを保持します。分析のために選択したHDFSファイルは削除され、以後は分析を実行できません。
-
分析を実行し、結果をエディターの[Analysis Results] (分析結果)ビューに表示します。
カラム分析の詳細は、最初にすべきこと (英語のみ)をご覧ください。
このページは役に立ちましたか?
このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。