Talend Data Stewardship en mode cluster - 6.4

Talend MDM Platform Guide d'installation pour Windows

EnrichVersion
6.4
EnrichProdName
Talend MDM Platform
task
Installation et mise à niveau
EnrichPlatform
Studio Talend
Talend Activity Monitoring Console
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend Data Preparation
Talend Data Stewardship
Talend DQ Portal
Talend ESB
Talend Identity Management
Talend Installer
Talend JobServer
Talend Log Server
Talend MDM Server
Talend MDM Web UI
Talend Project Audit
Talend Repository Manager
Talend Runtime
Talend SAP RFC Server

Vous pouvez installer plusieurs instances de Talend Data Stewardship en mode cluster si vous souhaitez tirer parti de la haute disponibilité et d'une meilleure évolutivité au sein de votre produit.

Le clustering est le processus de regroupement d'un ensemble de systèmes physiques similaires afin d'assurer un certain niveau de continuité opérationnelle et de minimiser les risques d'arrêt non planifié, notamment en tirant parti des fonctionnalités de répartition de charge et de failover.

Cette documentation fournit les procédures de configuration d'un cluster pour Talend Data Stewardship et, de manière facultative, pour Talend Dictionary Service.

Architecture de Talend Data Stewardship en mode cluster

Le diagramme suivant illustre l'architecture derrière Talend Data Stewardship et Talend Dictionary Service lors d'une configuration en mode cluster.

Cette architecture se compose de plusieurs blocs fonctionnels :

  • Un répartiteur de charge (Load Balancer), distribuant la charge de travail des différents utilisateurs accédant en même temps à l'application Web Talend Data Stewardship et au serveur de Talend Dictionary Service.

    Note

    Le même répartisseur de charge peut être utilisé pour Talend Data Stewardship et Talend Dictionary Service. De plus, le repartisseur de charge peut être physique ou logique.

  • Les instances de Talend Data Stewardship.

  • Les instances de Talend Dictionary Service que vous pouvez installer de manière facultative si vous souhaitez ajouter, supprimer ou modifier les types sémantiques utilisés dans Talend Data Stewardship.

  • Un bloc contenant les différents composants nécessaires pour que Talend Data Stewardship et Talend Dictionary Service fonctionnent, à savoir différentes instances de MongoDB pour le stockage, Kafka et Zookeeper pour le messaging et une instance de Talend Administration Center pour gérer les autorisations.

Installer Talend Data Stewardship en mode cluster

Pour installer Talend Data Stewardship en mode cluster, vous devez effectuer des modifications dans le fichier de configuration <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties.

Pour effectuer cette installation, vous devez installer et configurer autant d'instances de Talend Data Stewardship et de ses dépendances que nécessaire.

Prérequis :

  • Vous avez configuré un Load Balancer pour chaque module, à savoir Talend Data Stewardship et, de manière facultative, Talend Dictionary Service.

  • Vous avez configuré MongoDB en mode cluster. Pour plus d'informations, consultez la documentation de MongoDB (en anglais).

  • Vous avez configuré Kafka et Zookeeper en mode cluster. Pour plus d'informations, consultez la documentation Zookeeper et la documentation Kafka (en anglais).

  1. Installez une première instance de Talend Data Stewardship.

    Pour plus d'informations concernant la procédure d'installation, consultez Installer et configurer Talend Data Stewardship .

  2. Dans le fichier <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties, modifiez la propriété mongodb.host pour spécifier les hôtes et ports des différentes instances de MongoDB.

    Utilisez la syntaxe suivante :

    spring.data.mongodb.host=<host1>:<port1>,<host2>:<port2>,...,<hostN>

    Les hôtes et ports des différentes URL doivent être concaténés, sauf le dernier hôte, qui va hériter de la valeur de la propriété mongodb.port . Par exemple :

    spring.data.mongodb.host=mongorep-mongodb-replica-1.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-0.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-2.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-3.mongorep-mongodbreplica.
    default.svc.cluster.local
    spring.data.mongodb.host=27017
  3. Modifiez les propriétés spécifiant les hôtes et les ports des instances de Kafka et Zookeeper.

    De la même manière que pour les URL de MongoDB, les hôtes et ports Kafka et Zookeeper doivent être concaténés, sauf le dernier port, hérité des propriétés dédiées.

    talend.kafka.brokers=host1:9092,host2:9092,host3
    talend.kafka.port=9092
    talend.zookeeper.nodes=host1:2181,host2:2181,host3
    talend.zookeeper.port=2181

    Spécifiez également les paramètres des ports identifiant le nom d'hôte et le numéro de port.

    kafka.broker=host1:9092,host2:9092,host3:9092
    schema.kafka.broker=host1:9092,host2:9092,host3:9092
    
  4. Pour augmenter la durée de la session et réduire les risques de déconnexions inattendues, ajoutez les lignes suivantes :

    security.token.renew-after=600
    security.token.invalid-after=3600
  5. Répétez ces étapes pour installer et configurer les autres instances de Talend Data Stewardship. Incrémentez la valeur dans le paramètre service.instance.id dans <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties pour utiliser un identifiant unique par instance.

  6. Modifiez les fichiers <Data_Stewardship_Path>/iam/apache-tomcat/clients/tds-client.json pour ajouter les URL de redirection dans les champs post_logout_redirect_uris et redirect_uris spécifiant les ports de répartition de charge.

    Vous pouvez également ajouter les URL de redirection des autres instances dans les champs, pour accéder directement à l'une des instances de Talend Data Stewardship.

  7. Créez des partitions pour les topics Kafka dans chaque instance de Talend Data Stewardship.

    1. Démarrez une instance de Talend Data Stewardship. Cela crée automatiquement plusieurs topics Kafka.

    2. Arrêtez l'instance et définissez les partitions par topic manuellement. Vous devez définir autant de partitions que de nœuds Kafka.

      Pour plus d'informations, consultez la documentation Kafka (en anglais).

    3. Redémarrez l'instance.

    Vous avez installé et configuré plusieurs instances de Talend Data Stewardshippour qu'elles fonctionnent en mode cluster.

Installing Talend Dictionary Service in cluster mode

You can optionally install Talend Dictionary Service in cluster mode, to add, remove, or edit the semantic types used on data in Talend Data Stewardship.

To install Talend Dictionary Service in cluster mode, you need to modify the <Tomcat>/conf/data-quality.properties configuration file.

To perform this installation, you need to install and configure as many instances of Talend Dictionary Service, and its dependencies, as necessary.

Prerequisites:

  • You have configured a Load Balancer for Talend Dictionary Service.

    Note

    The same Load Balancer can be user for Talend Data Preparation, Talend Data Stewardship and Talend Dictionary Service. In addition, the Load Balancer can be either physical, or logical.

  • You have configured MongoDB in cluster mode. For more information, see MongoDB documentation.

  • You have configured Kafka and Zookeeper in cluster mode. For more information, see Zookeeper documentation and Kafka documentation.

  1. Install a first Talend Dictionary Service instance.

    For more information on the installation procedure, see Installer et configurer Talend Dictionary Service .

  2. In the <Tomcat>/conf/data-quality.properties file, edit the mongodb.host property to specify the hosts and ports of the several MongoDB instances.

    Use the following syntax:

    mongodb.host=<host1>:<port1>,<host2>:<port2>,...,<hostN>

    The hosts and ports for the different URLs must be concatenated, except for the last host, that will inherit the value of the mongodb.port property. For example:

    mongodb.host=mongorep-mongodb-replica-1.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-0.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-2.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-3.mongorep-mongodbreplica.
    default.svc.cluster.local
    mongodb.port=27017
  3. Edit the properties specifying the hosts and ports for the Kafka and Zookeeper instances.

    In the same way as the MongoDB URLs, the Kafka and Zookeeper hosts and ports must be concatenated, except for the last port, that is inherited from the dedicated properties.

    spring.cloud.stream.kafka.binder.brokers=host1:9092,host2:9092,host3
    spring.cloud.stream.kafka.binder.zkNodes=host1:2181,host2:2181,host3
    spring.cloud.stream.kafka.binder.defaultBrokerPort=9092
    spring.cloud.stream.kafka.binder.defaultZkPort=2181
  4. Repeat this installation and configuration procedure for each instance of Talend Dictionary Service that you want to install.

You have installed several Talend Dictionary Service instances and configured them to work in cluster mode.