データセットのクオリティ - Cloud

Talend Cloud Pipeline Designerユーザーガイド

Version
Cloud
Language
日本語
Product
Talend Cloud
Module
Talend Pipeline Designer
Content
ジョブデザインと開発 > パイプラインのデザイン
デプロイメント > デプロイ中 > パイプラインの実行
データガバナンス > データのフィルタリング
データクオリティとプレパレーション > データのフィルタリング
データクオリティとプレパレーション > データセットの管理
管理と監視 > ログの監視
管理と監視 > 実行の監視
Last publication date
2024-02-09

視覚的なインジケーターをいくつか使えば、データのクオリティを正確に把握できます。

クオリティインジケーターを使用すると、サンプルレベルとレコードレベルにおいて、迅速かつ簡単に情報のクオリティを評価できます。アプリケーションでは、次の項目に対してデータを無効、空、有効のいずれかに分類できます。
  • カラムのセマンティックタイプ
  • 1つまたは複数のフィールドに適用されるデータクオリティルール
ヒント: Snowflake接続を使用している場合は、プッシュダウンパラメーターを使えばデータセット全体のデータセットクオリティを計算できます。詳細は、Snowflake接続にプッシュダウンパラメーターを追加をご覧ください。
クオリティバーのカラーコード
説明
値がカラム形式に一致していないか、ルール条件は満たしているものの検証式を満たしていないか、その値でルールを実行できないかのいずかです。たとえば、ルールが文字列と数値を比較する必要がある場合に発生します。エラーの詳細は、値の横にある赤い縦棒をクリックしてください。
グレー セルが空であるか、値がルールで適用できません。条件を満たしておらず、代替の検証式が定義されていません。
値がカラム形式に一致しているか、すべてのルールステートメントを満たしています。

クオリティインジケーターは、以下の場所に示されています。

  • データセットリストから:
    customersという名前のデータセットでは、1.8%の空白値を持つクオリティバーが表示されています。

    データセットのクオリティは、クオリティバーの形式で表示されます。色の上にカーソルを置くと、データセットのクオリティ統計が表示されます。サンプルでの無効値、空白値、有効値の割合と正確な数が表示されます。

  • データセットの概要から:
    データセットの概要の[Data quality] (データクオリティ)タイルには、データセットサンプル全体にある空白値、有効値、無効値の正確な割合と数が棒グラフで表示されます。各カテゴリーは、専用のチャートに表示されます。
    1.1%の無効値、1.8%の空白値が、97.1%の有効値を示すデータクオリティタイル。

    サンプルの更新に失敗すると、タイルにエラーメッセージが表示されます。詳細は、サンプルの更新に関する問題をご覧ください。

    データセットの概要の[Data quality] (データクオリティ)タイルには、データセットサンプル全体にある無効値、非適用値、有効値の正確な割合と数がコンプライアンスバーで表示されます。
    コンプライアンスバーが付いた2つのルールを示すデータクオリティルールタイル。

    ルール名の横に警告[Warning] (警告)アイコンやエラー[Error] (エラー)アイコンが表示されている場合は、データクオリティルールタイルまたはデータセットヘッダーでの問題をご覧ください。

  • データセットサンプルヘッダーから:
    1.1%の無効値、1.8%の空白値が、97.1%の有効値を示すデータセットサンプルヘッダー。

    データセットの上のヘッダーには、データセットサンプル全体での無効値、空白値、有効値の配分を示す棒グラフもあります。各カテゴリーは、専用のチャートに表示されます。詳細な統計情報を参照するには、チャートにカーソルを置きます。

  • クオリティバーから:
    14.6%の空白値を持つ電話レコードを示すデータセットクオリティバー。
    データセットのグリッドビューを使用する場合、各カラムヘッダーにクオリティバーが表示されます。ここに表示される統計は、それぞれ特定のカラムに適用されます。各カテゴリーの詳細な統計情報を示す色にカーソルを置きます。グリッドビューの場合、カラムのセマンティックタイプに基づいて無効値が含まれているセルは赤の垂直バーで表示されます。このバーをクリックすれば、無効値に関するその他の情報が表示されます。
    グリッドビューの電話番号レコードにカーソルを置くと、無効値を示す赤い縦棒が表示されます。