跳到主要内容 跳到补充内容

在集群模式下安装 Talend Data Stewardship

要在集群模式下安装 Talend Data Stewardship,您需要在 <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties 配置文件中进行一些修改。

要执行此安装,您需要安装和配置所需数量的 Talend Data Stewardship 实例及其依赖关系。

开始之前

  • 您已为 Talend Data Stewardship 配置了一个负载均衡器。
  • 您已在集群模式下配置 MongoDB。有关更多信息,请参阅 MongoDB 文档 (仅提供英文版本)
  • 您已在集群模式下配置 Kafka 和 ZooKeeper。有关更多信息,请参阅 ZooKeeper 文档 (仅提供英文版本)Kafka 文档
  • 您已在集群模式下配置 Talend Identity and Access Management。有关更多信息,请参阅在集群模式下安装 Talend Identity and Access Management (仅提供英文版本)

步骤

  1. 安装第一个 Talend Data Stewardship 实例。
    有关安装过程的更多信息,请参阅手动安装 Talend Data Stewardship (仅提供英文版本)
  2. <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties 文件中,编辑 mongodb.host 属性以指定多个 MongoDB 实例的主机和端口。
    使用以下语法:
    spring.data.mongodb.host=<host1>:<port1>,<host2>:<port2>,...,<hostN>
    不同 URL 的主机和端口必须连接,最后一个主机除外,它将继承 mongodb.port 属性的值。例如:
    spring.data.mongodb.host=mongorep-mongodb-replica-1.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-0.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-2.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-3.mongorep-mongodbreplica.
    default.svc.cluster.local
    spring.data.mongodb.host=27017
  3. 编辑为 Kafka 和 ZooKeeper 实例指定主机和端口的属性。
    与 MongoDB URL 的方法相同,Kafka 和 ZooKeeper 主机和端口必须连接,最后一个端口除外,它从专用属性继承而来。
    talend.kafka.brokers=host1:9092,host2:9092,host3
    talend.kafka.port=9092
    talend.zookeeper.nodes=host1:2181,host2:2181,host3
    talend.zookeeper.port=2181
    还要指定下面的对等端口参数,它们通过端口号标识主机名。
    kafka.broker=host1:9092,host2:9092,host3:9092
    schema.kafka.broker=host1:9092,host2:9092,host3:9092
    
  4. 要延长会话持续时间和减小意外退出的风险,请添加以下行:
    security.token.renew-after=600
    security.token.invalid-after=3600
  5. 重复上述步骤以安装和配置其他 Talend Data Stewardship 实例。
    确保对每个 Talend Data Stewardship 实例按 <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties 渐增以下参数的值,以使每个实例获得唯一属性:
    tds.dqDictionary.group=TDSCoreDqDictionaryGroup1
    schema.dqDictionary.group=SchemaServiceDqDictionaryGroup1
  6. 编辑 <Data_Stewardship_Path>/iam/apache-tomcat/clients/tds-client.json 文件,在 post_logout_redirect_urisredirect_uris 字段中添加重定向 URL,指定负载均衡器端口。
    可选地,要直接访问其中某个 Talend Data Stewardship 实例,在这些字段中添加其他实例的重定向 URL。
  7. 在每个 Talend Data Stewardship 实例中为 Kafka 主题创建分区:
    1. 启动 Talend Data Stewardship 实例。这会自动创建多个 Kafka 主题。
    2. 停止实例并手动为每个主题定义分区。您需要定义与 Kafka 节点数一样多的分区。
      有关更多信息,请参阅 Kafka 文档
    3. 重新启动实例。

结果

您已安装多个 Talend Data Stewardship 实例并配置它们在集群模式下工作。

信息注释注: 如果您有包含 Talend Dictionary Service 的平台许可证,您可能还需要在集群模式下安装它。有关更多信息,请参阅在集群模式下安装 Talend Dictionary Service (仅提供英文版本)

本页面有帮助吗?

如果您发现此页面或其内容有任何问题 – 打字错误、遗漏步骤或技术错误 – 请告诉我们如何改进!