Hive経由でADLS Databricksファイルをプロファイリング

JDBCドライバーはjarファイルで、JDBC接続の作成に必要です。

1. Databricksドライバーのダウンロードページに移動して登録します。
2. JDBCドライバーをダウンロードします。
3. Talend Studioに移動します。
4. メニューバーで、[Window] (ウィンドウ) > [Show View...] (ビューを表示...)とクリックします。
5. [Show View] (ビューを表示)ダイアログボックスで、Modulesという語の入力を始めます。
6. Talendの下で[Modules] (モジュール)を選択し、[Open] (開く)をクリックします。

   

7. [Modules] (モジュール)ビューで、をクリックします。
8. 目的のjarファイルを参照し、[Open] (開く)をクリックします。

ADLS Databricks Gen2ファイルをプロファイリングするためには、外部テーブルを作成して、パラメーターを設定する必要があります。

1. Databricksクラスターページの[Configuration] (設定)タブで、[Advanced options] (詳細オプション)を展開します。
2. Sparkタブで、次のSparkプロパティを追加します。spark.hadoop.fs.azure.account.key.<storage_account>.dfs.core.windows.net <key>

   このキーは、使用するストレージアカウントに関連付けられています。このストレージアカウントの[Access keys] (アクセスキー)ブレードにあります。どのアカウントにも使えるキーが2つあり、このアクセスにはデフォルトでどちらのキーも使用できます。

   使用するアカウントに適切な読み取り/書き込み権限とアクセス許可があることをご確認ください。

1. [DQ Repository] (DQリポジトリー)ツリービューで、[Metadata] (メタデータ)を展開して[DB Connections] (DB接続)を右クリックします。
2. [Create DB connection] (データベース接続の作成)をクリックします。
   データベース接続ウィザードが表示されます。
3. 名前を入力して[Next] (次へ)をクリックします。他のフィールドはオプションです。
4. [DB Type] (DBタイプ)にJDBCを選択します。
5. [JDBC URL]フィールドに、ADLS DatabricksクラスターのURLを入力します。このURLは次のようにして取得します。
   1. Azure Databricksに移動します。
   2. クラスターリストで、接続先とするクラスターをクリックします。
   3. [Advanced Options] (詳細オプション)セクションを展開し、[JDBC/ODBC]タブを選択します。
   4. [JDBC URL]フィールドのコンテンツをコピーします。URLの形式は、jdbc:spark://<server-hostname>:<port>/default;transportMode=http;ssl=1;httpPath=<http-path>;AuthMech=3となります。
      情報メモNote: トークンをより安全に暗号化できるよう、Talend Studioの[Database Connection] (データベース接続)ウィザードにUIDパラメーターとPWDパラメーターを入力することをお勧めします。
6. [Database Connection] (データベース接続)ウィザードを開きます。
7. JDBC URLを貼り付けます。
8. [Drivers] (ドライバー)リストにJDBCドライバーを追加します。
   1. [+]ボタンをクリックします。リストに新しい行が追加されます。
   2. この新しい行の横にある[…]ボタンをクリックします。[Module] (モジュール)ダイアログボックスが表示されます。
   3. [Platform] (プラットフォーム)リストでJDBCドライバーを選択し、OKをクリックします。[Database Connection] (データベース接続)ウィザードに戻ります。
9. [Driver Class] (ドライバークラス)フィールドの横にある[Select class name] (クラス名の選択)をクリックし、com.simba.spark.jdbc4.Driverを選択します。
10. [User Id] (ユーザーID)と[Password] (パスワード)を入力します。
11. [Mapping file] (ファイルのマッピング)で[Mapping Hive] (Hiveのマッピング)を選択します。
12. [Test Connection] (テスト接続)をクリックします。
    • テストが成功したら、[Finish] (終了)をクリックしてウィザードを閉じます。
    • テストが失敗した場合は設定を検証します。

Hive経由でADLS Databricksクラスターに接続を作成した後は、特定のファイルでプロファイリング分析を作成できます。

1. [DQ Repository] (DQリポジトリー)ツリービューで、[Metadata] (メタデータ) > [DB Connections] (データベース接続) > [JDBC connection] (JDBC接続) > [Tables] (テーブル)と展開します。
2. [Columns] (カラム)フォルダーで、分析するカラムを選択して右クリックします
   情報メモTip: すべてのカラムで分析を作成する場合は、テーブル名を右クリックします。
3. [Column Analysis] (カラム分析)にマウスを重ね、必要とする分析タイプを選択します。
   [Create New Analysis] (新しい分析を作成)ウィザードが表示されます。
4. 名前を入力して[Finish] (終了)をクリックします。他のフィールドはオプションです。
   選択したADLSファイルの新しい分析が自動的に作成され、分析エディター内で開きます。選択した分析タイプに応じて、カラムに対してインジケーターが自動的に割り当てられます。

   分析はHiveテーブルに適用されますが、外部テーブルメカニズムを使い、ADLSからのデータで統計を計算します。外部テーブルは、Hive外の元のファイルにデータを保持します。分析のために選択したADLSファイルは削除され、分析は実行できなくなります。

5. 必要であれば次の操作を行います。
   • 分析するカラムを変更します。[Data Preview] (データプレビュー)タブで、[Select Columns] (カラムを選択)をクリックします。
   • インジケーターか新しいパターンをカラムに追加します。[Analyzed Columns] (分析済みカラム)タブで、[Select Indicators] (インジケーターを選択)をクリックします。
6. 分析を実行し、結果をエディターの[Analysis Results] (分析結果)ビューに表示します。