Vous collectez des métadonnées à l'aide de ponts Talend Cloud Data Catalog.
Un pont est un connecteur dédié à une plateforme. Il utilise un pilote spécifique pour se connecter à un système source de données et collecter ses métadonnées.
| Talend Cloud Data Catalog | Standard | Advanced | Advanced Plus |
|---|---|---|---|
| Collecte depuis toutes les technologies de data store supportées |
|
|
|
| Collecte depuis tout outil de modélisation de données supporté |
|
|
|
| Intégration de données avec des outils d'intégration de données, des outils ETL et ELT | |||
| Collecte depuis Talend Data Integration, Talend MDM et Talend Data Preparation |
|
|
|
| Collecte depuis tout outil d'intégration de données supporté |
|
|
|
| Intégration de données avec scripts SQL et autres codes | |||
| Collecte depuis des outils de script HiveQL |
|
|
|
| Collecte depuis tout outil de script SQL supporté |
|
|
|
| Business Intelligence (rapports BI) | |||
| Collecte depuis Tableau ou Qlik |
|
|
|
| Collecte depuis tout outil de Business Intelligence supporté |
|
|
|
| Collecte depuis tout outil de gestion des métadonnées supporté (comme Apache Atlas ou Cloudera Navigator) |
|
|
|
| Applications métier | |||
| Collecte depuis Salesforce |
|
|
|
| Collecte depuis tout outil d'application métier supporté (comme SAP Business Warehouse 4 HANA) |
|
|
|
Afin de collecter des métadonnées qui ne sont pas accessibles depuis Talend Cloud Data Catalog, vous devez installer des serveurs de collecte distants on-premises. Ils permettront également d'utiliser des ponts qui ne sont pas disponibles dans l'agent de collecte embarqué.
Ces ponts sont identifiés par une note indiquant qu'ils ne sont pas disponibles dans Talend Cloud Data Catalog par défaut dans Ponts de Talend Cloud Data Catalog dans Talend Help Center.
Avant de collecter des métadonnées
Avant de collecter des métadonnées, il est important d'analyser l'emplacement des métadonnées, la technologie requise pour les extraire et le processus à suivre pour assurer une extraction optimale.
Assurez-vous d'avoir la connectivité appropriée vers la source de métadonnées au format externe.
Assurez-vous d'avoir un accès complet aux ressources auxiliaires. Cela dépend du format externe auquel vous tentez de vous connecter.
- identification des magasins de données, comme les magasins de données opérationnel ;
- identification du processus de transformation de données, comme ETL ou ELT ;
- identification des systèmes Business Intelligence ;
- identification des modèles conceptuels existants ;
- configuration d'un pont et collecte des métadonnées pour chaque système.
Vous devez également organiser votre référentiel de métadonnées en dossiers nommés, par exemple pour chaque catégorie de métadonnées.
Parcourir le système de fichiers
Plusieurs actions d'import nécessitent de pointer vers les fichiers sur le serveur d'application.
Lorsque vous configurez Talend Cloud Data Catalog, vous devez spécifier les emplacements précis dans le système de fichiers à inclure dans la liste de navigation.
Modèles importés et modèles personnalisés
- Les modèles importés sont les modèles associés à un pont d'import et alimentés via le processus de collecte du modèle. Ces modèles sont appelés modèles techniques. Ils sont considérés comme des modèles métier lorsqu'ils sont importés depuis des applications métier ou des outils de Business Intelligence.
- Les modèles personnalisés sont des instanciations d'un type de modèle personnalisé dans le métamodèle. Ils sont appelés modèles métier. Ils ont également considérés comme des modèles techniques dépendant des domaines.