在集群模式下安装 Talend Data Stewardship - 7.1

Talend Data Fabric 安装指南 (Linux)

EnrichVersion
7.1
EnrichProdName
Talend Data Fabric
task
数据治理
EnrichPlatform
Talend Activity Monitoring Console
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend Data Preparation
Talend Data Stewardship
Talend DQ Portal
Talend ESB
Talend Identity and Access Management
Talend Installer
Talend JobServer
Talend Log Server
Talend MDM Server
Talend MDM Web UI
Talend Repository Manager
Talend Runtime
Talend SAP RFC Server
Talend Studio

要在集群模式下安装 Talend Data Stewardship,您需要在 <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties 配置文件进行某些修改。

要执行此安装,您需要安装和配置所需数量的 Talend Data Stewardship 实例及其依赖关系。

开始之前

过程

  1. 安装第一个 Talend Data Stewardship 实例。
    有关安装过程的更多信息,请参阅安装和配置 Talend Data Stewardship
  2. <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties 文件中,编辑 mongodb.host 属性以指定多个 MongoDB 实例的主机和端口。
    使用以下语法:
    spring.data.mongodb.host=<host1>:<port1>,<host2>:<port2>,...,<hostN>
    不同 URL 的主机和端口必须连接,最后一个主机除外,它将继承 mongodb.port 属性的值。例如:
    spring.data.mongodb.host=mongorep-mongodb-replica-1.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-0.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-2.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-3.mongorep-mongodbreplica.
    default.svc.cluster.local
    spring.data.mongodb.host=27017
  3. 编辑为 Kafka 和 Zookeeper 实例指定主机和端口的属性。
    与 MongoDB URL 的方法相同,Kafka 和 Zookeeper 主机和端口必须连接,最后一个端口除外,它从专用属性继承而来。
    talend.kafka.brokers=host1:9092,host2:9092,host3
    talend.kafka.port=9092
    talend.zookeeper.nodes=host1:2181,host2:2181,host3
    talend.zookeeper.port=2181
    还要指定下面的对等端口参数,它们通过端口号标识主机名。
    kafka.broker=host1:9092,host2:9092,host3:9092
    schema.kafka.broker=host1:9092,host2:9092,host3:9092
    
  4. 要延长会话持续时间和减小意外退出的风险,请添加以下行:
    security.token.renew-after=600
    security.token.invalid-after=3600
  5. 重复上述步骤以安装和配置其他 Talend Data Stewardship 实例。
    确保对每个 Talend Data Stewardship 实例按 <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties 渐增以下参数的值,以使每个实例获得唯一属性:
    tds.dqDictionary.group=TDSCoreDqDictionaryGroup1
    schema.dqDictionary.group=SchemaServiceDqDictionaryGroup1
  6. 编辑 <Data_Stewardship_Path>/iam/apache-tomcat/clients/tds-client.json 文件以在 post_logout_redirect_urisredirect_uris 字段中添加指定负载均衡器端口的重定向 URL。
    可选地,要直接访问其中某个 Talend Data Stewardship 实例,在这些字段中添加其他实例的重定向 URL。
  7. 在每个 Talend Data Stewardship 实例中为 Kafka 主题创建分区:
    1. 启动 Talend Data Stewardship 实例。这会自动创建多个 Kafka 主题。
    2. 停止实例并手动为每个主题定义分区。您需要定义与 Kafka 节点数一样多的分区。
      有关更多信息,请参阅 Kafka 文档
    3. 重新启动实例。

结果

您已安装多个 Talend Data Stewardship 实例并配置它们在集群模式下工作。

注: 如果您有包含 Talend Dictionary Service 的平台许可证,您可能还需要在集群模式下安装它。有关更多信息,请参阅在集群模式下安装 Talend Dictionary Service