Architecture des produits Talend

Talend Data Services Platform Guide d'installation pour Windows

EnrichVersion
6.3
EnrichProdName
Talend Data Services Platform
task
Installation et mise à niveau

Les principes de fonctionnement des produits Talend peuvent être synthétisés comme suit :

  • conception des processus techniques ou métier et analyses de profilage de données ;

  • gestion des utilisateurs, projets, droits d'accès, et processus techniques et leur dépendances ;

  • déploiement et exécution des processus techniques ;

  • monitoring de l'exécution des processus techniques.

Note

En fonction de votre licence, certains des blocs fonctionnels décrits ci-dessus peuvent ne pas être disponibles.

Chacun des sujets précédents peut être isolé en divers blocs fonctionnels, et les différents types de blocs et leur interopérabilité peuvent être représentés comme dans le diagramme d'architecture qui suit :

Conception et administration

  • Le bloc CLIENTS comprend un ou plusieurs Studios et navigateurs Web qui peuvent être installés sur une seule ou plusieurs machines.

    A partir de l'API Studio, l'utilisateur final conçoit des processus techniques: processus d'intégration de données ou de service de données, routes de médiation, services Web et des analyses et rapports de profilage de données sans avoir à tenir compte du volume des données traitées et de la complexité des processus.L'API du Studio peut également publier ces processus, routes et services dans le référentiels d'artefacts (Artifact Repository). Le Studio Talend permet à l'utilisateur de travailler sur tout projet pour lequel il a des droits d'accès. Pour plus d'informations, consultez le Guide utilisateur du Studio Talend.

    A partir du navigateur Web, l'utilisateur final peut se connecter à distance à la console d'administration (Talend Administration Center) via un protocole HTTP sécurisé. Dans cette description, le terme "utilisateur final" inclut notamment : les développeurs, chefs de projet, administrateurs ou toute autre personne intervenant dans la mise en place de flux de données, services Web, REST et de services de données, et de routes de médiation. Chaque utilisateur final peut utiliser le Studio, Talend Administration Center, ou les deux, selon l'organisation de l'entreprise.

    De plus, l'utilisateur final peut également utiliser le navigateur Web pour se connecter au Talend Data Quality Portal qui se connecte au datamart DQ et étend les rapports dynamiques et les fonctions de monitoring du Studio Talend au Talend Data Stewardship Console pour résoudre les problèmes de données inclus dans les tâches listées afin d'atteindre la version unique de la vérité (s'ils ont souscrit à cette option).

  • Les blocs TALEND SERVERS et DATABASES et le cercle gris Git/SVN comprennent la console d'administration Talend Administration Center basée Web (sur un serveur d'application) connectée à deux référentiels partagés : un basé sur un serveur Git ou SVN et à un autre basé sur un serveur de base de données (Admin).

    Talend Administration Center donne accès à tous les aspects de la gestion et de l'administration des projets. Les métadonnées d'administration (compte utilisateurs, droits d'accès et affectation de projets, par exemple) sont stockées dans le serveur de base de données. Les métadonnées des projets (Jobs, Business Models, Routines, Routes, Services, par exemple) sont stockées sur un serveur Git ou SVN (afin de les partager facilement entre les différents utilisateurs finaux).

    Talend Administration Center permet de configurer les tâches relatives à l'exécution des jobs et leur déclenchement. Elle permet également de générer et déployer les Jobs sur les serveurs d'exécution. Pour plus d'informations, consultez le Guide utilisateur de Talend Administration Center.

    Enfin, Talend Administration Center permet d'accéder et de gérer les Routes ou Services créés dans le Studio Talend et de les publier dans le référentiel d'artefacts, Artifact Repository, et de configurer et monitorer leur déploiement et exécution dans Talend Runtime. Pour plus d'informations, consultez le Guide utilisateur de Talend Administration Center.

    L'application Web Talend Data Preparation vous permet d'importer vos données, depuis des fichiers locaux ou depuis d'autres sources, de les nettoyer et de les enrichir en créant des nouvelles préparations pour ces données.

    L'application Web Talend Data Stewardship permet aux utilisateurs ayant le rôle "campaign owner" ou "data steward" de gérer les campagnes et les tâches.

    Talend Dictionary Service vous permet d'ajouter, de supprimer ou d'éditer les types sémantiques utilisés sur les données dans les applications Web.

Déploiement et exécution

  • Le cercle gris Nexus représente le référentiel d'artefacts qui stocke :

    • les mises à jour Software Updates disponibles en téléchargement.

    • les Routes et les Services publiés à partir du Studio et prêts à être déployés et exécutés dans Talend Runtime.

  • Le bloc TALEND EXECUTION SERVERS représente les serveurs d'exécution qui servent à exécuter les processus techniques selon les paramètres définis dans l'application Web Talend Administration Center. Les serveurs d'exécution peuvent être :

    • Un ou plusieurs Talend Runtime (conteneur d'exécution) déployés dans votre système d'information. Talend Runtime vous permet de déployer et d'exécuter des processus techniques en fonction des paramètres définis dans Talend Administration Center. Ces processus sont les Jobs créés à partir du Studio et centralisés dans le serveur Git ou SVN. les Routes et Services récupérés du référentiel d'artefacts.

      Si vous avez plusieurs Talend Runtime dans lesquels déployer vos artefacts, cela vous permet de répartir la charge des exécutions de vos artefacts selon vos besoins. Toutes les instances de Talend Runtime communiquent entre elles via le Service Locator pour identifier l'instance la plus à même de déployer et d'exécuter le ou les artefacts dont les paramètres de déploiement ont été définis dans Talend Administration Center. L'instance de Talend Runtime choisie pour le déploiement va alors appeler le ou les artefacts à déployer et exécuter dans le référentiel d'artefacts. Le référentiel d'artefacts va ensuite envoyer le ou les artefacts demandés ainsi que les dépendances nécessaires à leur exécution dans Talend Runtime, afin que ce dernier les déploie et les exécute.

    • Un ou plusieurs JobServers déployés dans votre système d'information qui servent à exécuter les processus techniques (Jobs) selon une date, une heure ou un évènement paramétré dans Talend Administration Center.

      L'utilisateur final a la possibilité de transférer les processus techniques vers un serveur d'exécution distant directement à partir du Studio (via la fonction Distant run).

      Note

      Notez que les fichiers de JobServer (les "Agents"), fournis par Talend, doivent être installés sur chacun des serveurs d'exécution pour que l'exécution distante (Distant run) soit possible.

      Pour de plus amples informations, consultez Installation et configuration de vos JobServers.

Monitoring

  • Le cercle Monitoring représente le monitoring : Talend Activity Monitoring Console et Service Activity Monitoring.

    Talend Activity Monitoring Console permet aux utilisateurs finaux de monitorer l'exécution des processus techniques. Il fournit des indicateurs de monitoring détaillés que les utilisateurs finaux peuvent utiliser pour consolider les informations de log, comprendre les interactions sous-jacentes entre flux de données, anticiper et éviter les erreurs inattendues et venir en support des systèmes décisionnels. Pour plus d'informations sur Talend Activity Monitoring Console, consultez le Guide utilisateur de Talend Activity Monitoring Console.

    Talend Service Activity Monitoring permet aux utilisateurs finaux de monitorer les appels de services. Il permet de monitorer et de consolider les informations des événements afin de comprendre les requêtes et les réponses sous-jacentes composant un événement, de monitorer les erreurs pouvant être générées de manière inattendue et venir en support pour les décisions sur la gestion des systèmes. Pour plus d'informations sur le Service Activity Monitoring, consultez le Guide utilisateur de Talend Administration Center.