Hive経由によるADLS Databricksファイルへのプロファイリング分析の作成 - 7.3

Talend Big Data Platform Studio ユーザーガイド

Version
7.3
Language
日本語 (日本)
Product
Talend Big Data Platform
Module
Talend Studio
Content
ジョブデザインと開発

Hiveを介してADLS Databricksクラスターへの接続を作成した後は、特定のファイルでプロファイリング分析を作成できます。

始める前に

手順

  1. [DQ Repository] (DQリポジトリー)ツリービューで、[Metadata] (メタデータ) > [DB Connections] (DB接続) > [JDBC connection] (JDBC接続) > [Tables] (テーブル)の順に展開します。
  2. [Columns] (カラム)フォルダーで、分析するカラムを選択して右クリックします
    ヒント: すべてのカラムで分析を作成する場合は、テーブル名を右クリックします。
  3. [Column Analysis] (カラム分析)にマウスを重ね、必要とする分析タイプを選択します。
    [Create New Analysis] (新規分析の作成)ウィザードが表示されます。
  4. 名前を入力して[Finish] (完了)をクリックします。他のフィールドはオプションです。
    選択したADLSファイルの新規分析が自動的に作成され、分析エディター内で開きます。選択した分析タイプに応じて、カラムに対してインジケーターが自動的に割り当てられます。

    分析はHiveテーブルに適用されますが、外部テーブルメカニズムを使い、ADLSからのデータで統計を計算します。外部テーブルは、Hive外の元のファイルにデータを保持します。分析のために選択したADLSファイルは削除され、分析は実行できなくなります。

  5. 必要であれば次の操作を行います。
    • [Select Columns] (カラムの選択)をクリックし、分析するカラムを変更します。
    • [Select Indicators] (インジケーターの選択)をクリックし、カラムにインジケーターまたは新しいパターンを追加します。
  6. 分析を実行し、結果をエディターの[Analysis Results] (分析結果)ビューに表示します。

次のタスク

この分析でレポートを作成できます。特定の分析のレポートの作成を参照してください。