Um Talend Data Stewardship im Cluster-Modus zu installieren, müssen Sie in der Konfigurationsdatei <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties einige Änderungen vornehmen.
Für die Durchführung dieser Installation müssen Sie so viele Instanzen von Talend Data Stewardship wie erforderlich mit den zugehörigen Abhängigkeiten installieren und konfigurieren.
Vorbereitungen
- Sie haben einen Load Balancer für Talend Data Stewardship konfiguriert.
- Sie haben MongoDB im Cluster-Modus konfiguriert. Weitere Informationen können Sie der MongoDB-Dokumentation entnehmen.
- Sie haben Kafka und ZooKeeper im Cluster-Modus konfiguriert. Weitere Informationen können Sie der ZooKeeper-Dokumentation un der Kafka-Dokumentation entnehmen.
Prozedur
-
Installieren Sie eine erste Instanz von Talend Data Stewardship.
-
Bearbeiten Sie in der Datei <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties die Eigenschaft
spring.data.mongodb.host
, um die Hosts und Ports der verschiedenen MongoDB-Instanzen anzugeben.
Beachten Sie dabei die folgende Syntax:
spring.data.mongodb.host=<host1>:<port1>,<host2>:<port2>,...,<hostN>
Die Hosts und Ports für die verschiedenen URLs müssen konkateniert werden, mit Ausnahme des letzten Hosts, der den Wert der Eigenschaft
mongodb.port
übernimmt. Beispiel:
spring.data.mongodb.host=mongorep-mongodb-replica-1.mongorep-mongodbreplica.
default.svc.cluster.local:27017,
mongorep-mongodb-replica-0.mongorep-mongodbreplica.
default.svc.cluster.local:27017,
mongorep-mongodb-replica-2.mongorep-mongodbreplica.
default.svc.cluster.local:27017,
mongorep-mongodb-replica-3.mongorep-mongodbreplica.
default.svc.cluster.local
spring.data.mongodb.host=27017
-
Bearbeiten Sie die Eigenschaften und geben Sie die Hosts und Ports für die Kafka- und ZooKeeper-Instanzen an.
Wie die MongoDB-URLs müssen die Hosts und Ports von Kafka und ZooKeeper konkateniert werden, mit Ausnahme des letzten Ports, der seinen Wert aus den dedizierten Eigenschaften übernimmt.
talend.kafka.brokers=host1:9092,host2:9092,host3
talend.kafka.port=9092
talend.zookeeper.nodes=host1:2181,host2:2181,host3
talend.zookeeper.port=2181
Geben Sie ebenfalls die nachstehend aufgeführten Peer-Portparameter an, die den Hostnamen mit der Portnummer identifizieren.
kafka.broker=host1:9092,host2:9092,host3:9092
schema.kafka.broker=host1:9092,host2:9092,host3:9092
-
Um die Sitzungsdauer zu erhöhen und das Risiko unerwarteter Abmeldungen zu reduzieren, fügen Sie folgende Zeilen hinzu:
security.token.renew-after=600
security.token.invalid-after=3600
-
Wiederholen Sie die obigen Schritte, um weitere Instanzen von Talend Data Stewardship zu installieren und zu konfigurieren.
Sie müssen die Werte für die nachstehenden Parameter für jede Instanz von
Talend Data Stewardship in
<Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties inkrementieren, damit jede Insteanz über eine eindeutige Eigenschaft verfügt:
tds.dqDictionary.group=TDSCoreDqDictionaryGroup1
schema.dqDictionary.group=SchemaServiceDqDictionaryGroup1
-
Bearbeiten Sie die Dateien <Data_Stewardship_Path>/iam/apache-tomcat/clients/tds-client.json und fügen Sie die Weiterleitungs-URLs in den Feldern
post_logout_redirect_uris
und redirect_uris
hinzu. Geben Sie dabei die Load Balancer-Ports an.
Sie können auch direkt auf eine der Instanzen von Talend Data Stewardship zugreifen. Fügen Sie dazu die Weiterleitungs-URLs der anderen Instanzen in die Felder ein.
-
Erstellen Sie Partitionen für Kafka-Topics in jeder Instanz von Talend Data Stewardship.
-
Starten Sie eine Instanz von Talend Data Stewardship. Dadurch werden automatisch mehrere Kafka-Topics erstellt.
-
Halten Sie die Instanz an und definieren Sie die Partitionen pro Topic manuell. Sie müssen so viele Partitionen definieren wie Kafka-Knoten vorhanden sind.
-
Starten Sie die Instanz neu.
Ergebnisse
Sie haben mehrere Instanzen von Talend Data Stewardship installiert und für eine Verwendung im Cluster-Modus konfiguriert.