要在集群模式下安装 Talend Data Stewardship,您需要在 <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties 配置文件中进行一些修改。
要执行此安装,您需要安装和配置所需数量的 Talend Data Stewardship 实例及其依赖关系。
步骤
-
安装第一个 Talend Data Stewardship 实例。
-
在 <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties 文件中,编辑
mongodb.host
属性以指定多个 MongoDB 实例的主机和端口。
使用以下语法:
spring.data.mongodb.host=<host1>:<port1>,<host2>:<port2>,...,<hostN>
不同 URL 的主机和端口必须连接,最后一个主机除外,它将继承
mongodb.port
属性的值。例如:
spring.data.mongodb.host=mongorep-mongodb-replica-1.mongorep-mongodbreplica.
default.svc.cluster.local:27017,
mongorep-mongodb-replica-0.mongorep-mongodbreplica.
default.svc.cluster.local:27017,
mongorep-mongodb-replica-2.mongorep-mongodbreplica.
default.svc.cluster.local:27017,
mongorep-mongodb-replica-3.mongorep-mongodbreplica.
default.svc.cluster.local
spring.data.mongodb.host=27017
-
编辑为 Kafka 和 ZooKeeper 实例指定主机和端口的属性。
与 MongoDB URL 的方法相同,Kafka 和 ZooKeeper 主机和端口必须连接,最后一个端口除外,它从专用属性继承而来。
talend.kafka.brokers=host1:9092,host2:9092,host3
talend.kafka.port=9092
talend.zookeeper.nodes=host1:2181,host2:2181,host3
talend.zookeeper.port=2181
还要指定下面的对等端口参数,它们通过端口号标识主机名。
kafka.broker=host1:9092,host2:9092,host3:9092
schema.kafka.broker=host1:9092,host2:9092,host3:9092
-
要延长会话持续时间和减小意外退出的风险,请添加以下行:
security.token.renew-after=600
security.token.invalid-after=3600
-
重复上述步骤以安装和配置其他 Talend Data Stewardship 实例。
确保对每个
Talend Data Stewardship 实例按
<Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties 渐增以下参数的值,以使每个实例获得唯一属性:
tds.dqDictionary.group=TDSCoreDqDictionaryGroup1
schema.dqDictionary.group=SchemaServiceDqDictionaryGroup1
-
编辑 <Data_Stewardship_Path>/iam/apache-tomcat/clients/tds-client.json 文件,在
post_logout_redirect_uris
和 redirect_uris
字段中添加重定向 URL,指定负载均衡器端口。
可选地,要直接访问其中某个 Talend Data Stewardship 实例,在这些字段中添加其他实例的重定向 URL。
-
在每个 Talend Data Stewardship 实例中为 Kafka 主题创建分区:
-
启动 Talend Data Stewardship 实例。这会自动创建多个 Kafka 主题。
-
停止实例并手动为每个主题定义分区。您需要定义与 Kafka 节点数一样多的分区。
-
重新启动实例。
结果
您已安装多个 Talend Data Stewardship 实例并配置它们在集群模式下工作。