Détails relatifs au profiling de données - Cloud

Guide d'utilisation du Talend Cloud Data Catalog

Version
Cloud
Language
Français
Product
Talend Cloud
Module
Talend Data Catalog
Content
Gouvernance de données
Last publication date
2023-11-13
Talend Cloud Data Catalog peut stocker et afficher les informations de profil de données suivantes pour les objets de tables/vues et colonnes :
Type Description
Inferred Datatypes (Types de données déduits) [type, lignes] Liste de rapprochements de types de données et leur fréquence sous forme de pourcentage, triés de la valeur la plus haute à la plus basse.

Le type de données de la colonne est détecté par le profiler. Lorsque la colonne contient des données de différents types, le profiler choisit le plus utilisé. Cette valeur peut être remplacée manuellement. Elle peut contredire le type de données déclaré par la base de données. Par exemple, si la colonne VARCHAR de la base de données ne contient que des valeurs de dates, le profiler définit le type de données comme DATE.

Les types supportés sont : Text, Date, Time, DateTime, Geographical, No Percentiles, Means, Median, Variance, Std. Deviation et Number.
Frequency (Fréquence) [valeur, lignes] Distribution de valeurs et de leur fréquence sous forme de pourcentage.
Patterns (Modèles) [modèle, lignes] Liste de différents modèles de présentation de données trouvés dans la source et de leur fréquence sous forme de pourcentage.
Data Profiling Statistics (Statistiques de profiling des données)
  • Profiling Date (Date du profiling) : date de l'exécution de profiling des données.
  • Count (Nombre) : nombre de lignes réellement profilées, qui est soit le nombre total dans la source ou la limite définie lors de la configuration des options de collecte.
  • Distinct : non distinct = total-distinct-vide. Par exemple, en présence d'un million de lignes, si la colonne n'a que dix valeurs distinctes, les données sont considérées comme distinctes.
  • Duplicate (Doublon) : lignes en doublon dans une base de données ou dans des fichiers.
  • Valid (Valide) : lignes valides dans une base de données ou dans des fichiers.
  • Empty (Vide) : lignes nulles dans une base de données ou lignes vides dans des fichiers.
  • Invalid (Non valide) : lignes invalides dans une base de données ou dans des fichiers.

    Les valeurs valides/invalides dépendent du type de données automatiquement détecté pour la colonne. Par exemple, si la première colonne est identifiée comme type de données INTEGER mais que la valeur du dernier enregistrement contient la valeur "a", qui n'est pas un INTEGER valide, cela contribue au nombre de valeurs invalides.

  • Avg length (Longueur moy.) : longueur moyenne des valeurs.
  • Min length (Longueur min.) : longueur minimale des valeurs.
  • Max length (Longueur max.) : longueur maximale des valeurs.