Collecter des métadonnées - 8.0

Guide d'utilisation de Talend Data Catalog

Version
8.0
Language
Français
Product
Talend Big Data Platform
Talend Data Fabric
Talend Data Management Platform
Talend Data Services Platform
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Data Catalog
Content
Gouvernance de données
Last publication date
2023-11-13
Collecter des métadonnées signifie collecter toutes les métadonnées d'une source de données.

Vous collectez des métadonnées à l'aide de ponts Talend Data Catalog.

Un pont est un connecteur dédié à une plateforme. Il utilise un pilote spécifique pour se connecter à un système source de données et collecter ses métadonnées.
Remarque : Les pilotes de bases de données pré-installés dans le dossier <TDC_HOME>\TalendDataCatalog\tomcat\shared servent à la connexion à la base de données du référentiel de Talend Data Catalog et non à la collecte. Pour collecter des métadonnées, vous devez installer le pilote à connecter à un système de données source et mettre à jour les paramètres d'emplacement du pilote. Pour plus d'informations, consultez Importer des métadonnées.
Le tableau suivant présente les types de sources de données depuis lesquels vous pouvez collecter des métadonnées, selon votre édition.
Talend Data Catalog Standard Advanced Advanced Plus
Collecte depuis toutes les technologies de data store supportées
Collecte depuis tout outil de modélisation de données supporté
Intégration de données avec des outils d'intégration de données, des outils ETL et ELT
Collecte depuis Talend Data Integration, Talend MDM et Talend Data Preparation
Collecte depuis tout outil d'intégration de données supporté
Intégration de données avec scripts SQL et autres codes
Collecte depuis des outils de script HiveQL
Collecte depuis tout outil de script SQL supporté
Business Intelligence (rapports BI)
Collecte depuis Tableau ou Qlik
Collecte depuis tout outil de Business Intelligence supporté
Collecte depuis tout outil de gestion des métadonnées supporté (comme Apache Atlas ou Cloudera Navigator)
Applications métier
Collecte depuis Salesforce
Collecte depuis tout outil d'application métier supporté (comme SAP Business Warehouse 4 HANA)

Pour plus d'informations concernant les ponts, consultez Ponts de Talend Data Catalog sur Talend Help Center.

Avant de collecter des métadonnées

Avant de collecter des métadonnées, il est important d'analyser l'emplacement des métadonnées, la technologie requise pour les extraire et le processus à suivre pour assurer une extraction optimale.

Assurez-vous d'avoir la connectivité appropriée vers la source de métadonnées au format externe.

Assurez-vous d'avoir un accès complet aux ressources auxiliaires. Cela dépend du format externe auquel vous tentez de vous connecter.

Lors de la collecte de métadonnées dans un projet Talend Data Catalog, vous devez suivre un ordre spécifique :
  • identification des magasins de données, comme les magasins de données opérationnel ;
  • identification du processus de transformation de données, comme ETL ou ELT ;
  • identification des systèmes Business Intelligence ;
  • identification des modèles conceptuels existants ;
  • configuration d'un pont et collecte des métadonnées pour chaque système.

Vous devez également organiser votre référentiel de métadonnées en dossiers nommés, par exemple pour chaque catégorie de métadonnées.

Parcourir le système de fichiers

Plusieurs actions d'import nécessitent de pointer vers les fichiers sur le serveur d'application.

Lorsque vous configurez Talend Data Catalog, vous devez spécifier les emplacements précis dans le système de fichiers à inclure dans la liste de navigation.

Vous pouvez spécifier les emplacements à l'aide de Setup.bat ou de l'invite de commande.

Les disques disponibles pour la navigation sont contrôlés par le fichier conf.properties.

Modèles importés et modèles personnalisés

Il y a deux types de modèles dans le référentiel :
  • Les modèles importés sont les modèles associés à un pont d'import et alimentés via le processus de collecte du modèle. Ces modèles sont appelés modèles techniques. Ils sont considérés comme des modèles métier lorsqu'ils sont importés depuis des applications métier ou des outils de Business Intelligence.
  • Les modèles personnalisés sont des instanciations d'un type de modèle personnalisé dans le métamodèle. Ils sont appelés modèles métier. Ils ont également considérés comme des modèles techniques dépendant des domaines.