Configuration d'une collecte de métadonnées de Talend Data Catalog - 7.1

Guide d’installation et de migration de Talend Data Catalog pour Linux

EnrichVersion
7.1
EnrichProdName
Talend Big Data Platform
Talend Data Fabric
Talend Data Management Platform
Talend Data Services Platform
Talend MDM Platform
Talend Real-Time Big Data Platform
EnrichPlatform
Talend Data Catalog
task
Installation et mise à niveau

La collecte de métadonnées à partir d'outils tiers de bases de données, de modélisation de données, d'intégration de données ou de Business Intelligence est effectuée par la solution intégrée de collecte de métadonnées de Talend Data Catalog.

Par défaut, le logiciel d'installation déploie et configure Talend Data Catalog et la collecte de métadonnées de Talend Data Catalog sur la même machine, où le serveur d'applications Talend Data Catalog accède à Metadata Harvesting Web Services localement.

La collecte de métadonnées peut également être installée et configurée en tant qu'agent de collecte de métadonnées distant sur une autre machine. Cela est très utile dans des déploiements d'architecture où le serveur de gestion des métadonnées est déployé :

  • à distance sur le Cloud et nécessite un accès local on-premises aux serveurs de collecte de métadonnées (agents), ou
  • sur Linux et doit accéder aux serveurs de collecte de métadonnées (agents) sur une machine Windows où les outils clients de modélisation des données, d'intégration des données ou de Business Intelligence sont uniquement sous Windows (comme COM basé sur le SDK).
Des personnalisations essentielles (comme les répertoires et la mémoire) du serveur d'applications de collecte des métadonnées peuvent être effectuées dans le fichier de configuration <TDC_HOME>/TalendDataCatalog/conf/conf.properties.
Nom du paramètre Description
M_BROWSE_PATH Permet de parcourir un lecteur de réseau local et mappé.

Tous les fichiers de collecte de métadonnées et les références de paramètre du répertoire sont reliés au serveur. Le serveur doit avoir accès à ces ressources lorsque n'importe quel événement (tel qu'une collecte planifiée) va se produire. Lors de la collecte d'un modèle, l'interface utilisateur présente un ensemble de chemins qui peuvent être parcourus pour sélectionner ces fichiers et répertoires.

Configurer le paramètre M_BROWSE_PATH vous permet de définir quels lecteurs et quels chemins de réseau sont disponibles dans l'interface utilisateur. Vous pouvez mettre à jour le paramètre M_BROWSE_PATH en utilisant l'interface utilisateur (sur le serveur d'applications) représenté par setup.sh ou en modifiant le fichier <TDC_HOME>/TalendDataCatalog/conf/conf.properties directement.

À l'installation, l'ensemble contient tous les lecteurs attachés directement, qui sont spécifiés par un astérisque "*" (M_BROWSE_PATH=*).

Pour les serveurs d'applications basés sur Windows, lorsqu'ils s'exécutent en tant que service, les noms de lecteurs (mappés) et les chemins peuvent être différents de ce que l'utilisateur voit lorsqu'il se connecte, bien que la valeur "*" ne s'affiche pas pour tous les lecteurs attendus lors de la sélection des lecteurs en utilisant l'interface. Vous devez plutôt lister explicitement tous les lecteurs et chemins de réseau que vous souhaitez rendre disponibles à tous les utilisateurs dans l'interface.

Il n'est également pas suffisant de simplement saisir l'ID du lecteur mappé (par exemple N:\), car ce mapping de lecteur n'est généralement pas disponible pour les services. Vous devez spécifier les lecteurs physiques par des lettres, mais également spécifier entièrement les chemins de réseau, par exemple :

M_BROWSE_PATH=C:\, E:\, \\network-drive\shared\

Remarque : Cela s'applique également aux lecteurs de sauvegarde de scripts et de restauration.
M_DATA_DIRECTORY Permet de déplacer les données comme les fichiers de log et le cache de collecte de métadonnées incrémentielle, comme le requièrent les outils d'intégration de données ou de Business Intelligence très volumineux.
M_JAVA_OPTIONS Permet d'augmenter la mémoire maximale utilisée par les ponts Java pendant la collecte de métadonnées d'outils de bases de données, modélisation de données, intégration de données et Business Intelligence très volumineux.

Ce paramètre définit le maximum par défaut pour tous les ponts Java. Toutefois, la plupart des ponts Java de mémoire intensive (comme les ponts JDBC) sont capables de définir leur propre mémoire maximale dans un dernier paramètre appelé Miscellaneous.

Lorsqu'un serveur d'applications de collecte de métadonnées est utilisé comme un agent local de collecte de métadonnées connecté à un serveur d'applications de Talend Data Catalog sur le Cloud, des personnalisations supplémentaires sont nécessaires dans le fichier de configuration <TDC_HOME>/TalendDataCatalog/conf/agent.properties.
Nom du paramètre Description
M_SERVER_URL est l'URL du serveur d'applications de Talend Data Catalog sur le Cloud, par exemple http://<server>:11480/MM.
M_AGENT_NAME est le nom de l'agent, comme MyCompanyOnPremise, que le serveur d'applications de Talend Data Catalog cité ci-dessus utilisera pour se référer à cet agent de serveur de collecte de métadonnées.