Étape de profiling d'un fichier HDFS - 7.0

Guide utilisateur de Talend Data Management Platform Studio

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Data Management Platform
task
Création et développement
EnrichPlatform
Studio Talend

Pourquoi et quand exécuter cette tâche

Dans la perspective Profiling du studio, vous pouvez générer une analyse de colonnes avec des indicateurs de statistiques simples sur un fichier HDFS via une connexion Hive.

La séquence de création d'une analyse de profiling sur un fichier HDFS file comprend les étapes suivantes :

Procédure

  1. Création d'une connexion à un cluster Hadoop.
  2. Création d'une connexion à un serveur Hive.
    Cette étape n'est pas obligatoire, comme il vous sera demandé de créer la connexion à Hive simultanément, pendant que vous créez la connexion à un fichier HDFS.
  3. Création d'une connexion à un fichier HDFS.
    Cette étape vous guide pour créer une table Hive external, qui laisse les données dans le fichier mais crée une définition de table dans le Metastore Hive. Cela permet au studio d'exécuter des requêtes SQL sur les données du fichier via la connexion à Hive.
  4. Création d'une analyse de colonnes avec des indicateurs simples sur la table Hive.
    Vous pouvez modifier les paramètres de l'analyse et ajouter d'autres indicateurs selon vos besoins. Vous pouvez également créer ultérieurement d'autres analyses sur ce fichier HDFS en utilisant la même table Hive.