Pour installer Talend Data Stewardship en mode cluster, vous devez effectuer des modifications dans le fichier de configuration <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties.
Pour effectuer cette installation, vous devez installer et configurer autant d'instances de Talend Data Stewardship et de ses dépendances que nécessaire.
Procédure
-
Installez une première instance de Talend Data Stewardship.
-
Dans le fichier <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties, modifiez la propriété
mongodb.host pour spécifier les hôtes et ports des différentes instances de MongoDB.
Utilisez la syntaxe suivante :
spring.data.mongodb.host=<host1>:<port1>,<host2>:<port2>,...,<hostN>
Les hôtes et ports des différentes URL doivent être concaténés, sauf le dernier hôte, qui va hériter de la valeur de la propriété
mongodb.port. Par exemple :
spring.data.mongodb.host=mongorep-mongodb-replica-1.mongorep-mongodbreplica.
default.svc.cluster.local:27017,
mongorep-mongodb-replica-0.mongorep-mongodbreplica.
default.svc.cluster.local:27017,
mongorep-mongodb-replica-2.mongorep-mongodbreplica.
default.svc.cluster.local:27017,
mongorep-mongodb-replica-3.mongorep-mongodbreplica.
default.svc.cluster.local
spring.data.mongodb.host=27017
-
Modifiez les propriétés spécifiant les hôtes et les ports des instances de Kafka et ZooKeeper.
De la même manière que pour les URL de MongoDB, les hôtes et ports Kafka et ZooKeeper doivent être concaténés, sauf le dernier port, hérité des propriétés dédiées.
talend.kafka.brokers=host1:9092,host2:9092,host3
talend.kafka.port=9092
talend.zookeeper.nodes=host1:2181,host2:2181,host3
talend.zookeeper.port=2181
Spécifiez également les paramètres des ports identifiant le nom d'hôte et le numéro de port.
kafka.broker=host1:9092,host2:9092,host3:9092
schema.kafka.broker=host1:9092,host2:9092,host3:9092
-
Pour augmenter la durée de la session et réduire les risques de déconnexions inattendues, ajoutez les lignes suivantes :
security.token.renew-after=600
security.token.invalid-after=3600
-
Répétez ces étapes d'installation et de configuration des autres instances de Talend Data Stewardship.
Incrémentez la valeur dans les paramètres ci-dessous dans
<Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties pour que chaque instance
Talend Data Stewardship ait une propriété unique par instance :
tds.dqDictionary.group=TDSCoreDqDictionaryGroup1
schema.dqDictionary.group=SchemaServiceDqDictionaryGroup1
-
Modifiez les fichiers <Data_Stewardship_Path>/iam/apache-tomcat/clients/tds-client.json pour ajouter les URL de redirection dans les champs
post_logout_redirect_uris et redirect_uris spécifiant les ports de répartition de charge.
Vous pouvez également ajouter les URL de redirection des autres instances dans les champs, pour accéder directement à l'une des instances de Talend Data Stewardship.
-
Créez des partitions pour les topics Kafka dans chaque instance de Talend Data Stewardship :
-
Démarrez une instance de Talend Data Stewardship. Cela crée automatiquement plusieurs topics Kafka.
-
Arrêtez l'instance et définissez les partitions par topic manuellement. Vous devez définir autant de partitions que de nœuds Kafka.
-
Redémarrez l'instance.
Résultats
Vous avez installé plusieurs instances de Talend Data Stewardship et les avez configurées pour qu'elles fonctionnent en mode cluster.