Pour installer Talend Data Preparation en mode cluster, vous devez effectuer des modifications dans le fichier de configuration <Data_Preparation_Path>/config/application.properties.
Pour effectuer cette installation, vous devez installer et configurer autant d'instances de Talend Data Preparation et de ses dépendances que nécessaire.
Procédure
-
Installez une première instance de Talend Data Preparation.
-
Dans le fichier <Data_Preparation_Path>/config/application.properties, modifiez la propriété
mongodb.host
afin de spécifier les hôtes et les ports des instances de MongoDB.
Utilisez la syntaxe suivante :
spring.data.mongodb.host=<host1>:<port1>,<host2>:<port2>,...,<hostN>
Les hôtes et ports des différentes URL doivent être concaténés, sauf le dernier hôte, qui va hériter de la valeur de la propriété mongodb.port
. Par exemple :
mongodb.host=mongorep-mongodb-replica-1.mongorep-mongodb-replica.default.svc.cluster.local:27017,
mongorep-mongodb-replica-0.mongorep-mongodb-replica.default.svc.cluster.local:27017,
mongorep-mongodb-replica-2.mongorep-mongodb-replica.default.svc.cluster.local:27017,
mongorep-mongodb-replica-3.mongorep-mongodb-replica.default.svc.cluster.local
mongodb.port=27017
-
Modifiez les propriétés
service.cache.file.location
et dataset.content.store.file.location
afin de spécifier l'emplacement de votre Network File System, ou dossier partagé devant être disponible à toutes les instances de Talend Data Preparation. Par exemple :
service.cache.file.location=sharedContent/
dataset.content.store.file.location=sharedContent/store/datasets/content/
-
Modifiez les propriétés spécifiant les hôtes et les ports des instances de Kafka et ZooKeeper.
De la même manière que pour les URL de MongoDB, les hôtes et ports Kafka et ZooKeeper doivent être concaténés, sauf le dernier port, hérité des propriétés dédiées.
spring.cloud.stream.kafka.binder.brokers=host1:9092,host2:9092,host3
spring.cloud.stream.kafka.binder.zkNodes=host1:2181,host2:2181,host3
spring.cloud.stream.kafka.binder.defaultBrokerPort=9092
spring.cloud.stream.kafka.binder.defaultZkPort=2181
-
Pour augmenter la durée de la session et réduire les risques de déconnexions inattendues, ajoutez les lignes suivantes :
security.token.renew-after=600
security.token.invalid-after=3600
-
Répétez ces procédures d'installation et de configuration pour chaque instance de Talend Data Preparation que vous souhaitez installer.
Résultats
Vous avez installé plusieurs instances de
Talend Data Preparation et les avez configurées pour qu'elles fonctionnent en mode cluster.