Profiler un fichier HDFS - 7.1

Guide utilisateur de Talend Data Fabric Studio

author
Talend Documentation Team
EnrichVersion
7.1
EnrichProdName
Talend Data Fabric
task
Création et développement
EnrichPlatform
Studio Talend
Dans la perspective Profiling du Studio Talend, vous pouvez générer une analyse de colonnes avec des indicateurs de statistiques simples sur un fichier HDFS via une connexion Hive.

Procédure

La séquence de création d'une analyse de profiling sur un fichier HDFS file comprend les étapes suivantes :

  1. Création d'une connexion à un cluster Hadoop.
  2. Création d'une connexion à un serveur Hive.
    Cette étape n'est pas obligatoire, comme il vous sera demandé de créer la connexion à Hive simultanément, pendant que vous créez la connexion à un fichier HDFS.
  3. Création d'une connexion à un fichier HDFS.
    Cette étape vous guide pour créer une table Hive external, qui laisse les données dans le fichier mais crée une définition de table dans le Metastore Hive. Cela permet au Studio d'exécuter des requêtes SQL sur les données du fichier via la connexion à Hive.
  4. Création d'une analyse de colonnes avec des indicateurs simples sur la table Hive.

Que faire ensuite

Vous pouvez modifier les paramètres de l'analyse et ajouter d'autres indicateurs selon vos besoins. Vous pouvez également créer ultérieurement d'autres analyses sur ce fichier HDFS en utilisant la même table Hive.