Installieren von Talend Data Stewardship im Cluster-Modus - Cloud

Installationshandbuch für Hybrid-Versionen von Talend Cloud

Version
Cloud
Language
Deutsch
Operating system
Linux
Product
Talend Cloud
Module
Talend Data Preparation
Talend Data Stewardship
Talend Management Console
Content
Installation und Upgrade
Last publication date
2024-03-26

Um Talend Data Stewardship im Cluster-Modus zu installieren, müssen Sie in der Konfigurationsdatei <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties einige Änderungen vornehmen.

Für die Durchführung dieser Installation müssen Sie so viele Instanzen von Talend Data Stewardship wie erforderlich mit den zugehörigen Abhängigkeiten installieren und konfigurieren.

Vorbereitungen

  • Sie haben einen Load Balancer für Talend Data Stewardship konfiguriert.
  • Sie haben MongoDB im Cluster-Modus konfiguriert. Weitere Informationen können Sie der MongoDB-Dokumentation entnehmen.
  • Sie haben Kafka und ZooKeeper im Cluster-Modus konfiguriert. Weitere Informationen können Sie der ZooKeeper-Dokumentation un der Kafka-Dokumentation entnehmen.

Prozedur

  1. Installieren Sie eine erste Instanz von Talend Data Stewardship.
    Weitere Informationen zum Installationsverfahren finden Sie hier: Manuelles Installieren von Talend Data Stewardship.
  2. Bearbeiten Sie in der Datei <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties die Eigenschaft spring.data.mongodb.host, um die Hosts und Ports der verschiedenen MongoDB-Instanzen anzugeben.
    Beachten Sie dabei die folgende Syntax:
    spring.data.mongodb.host=<host1>:<port1>,<host2>:<port2>,...,<hostN>
    Die Hosts und Ports für die verschiedenen URLs müssen konkateniert werden, mit Ausnahme des letzten Hosts, der den Wert der Eigenschaft mongodb.port übernimmt. Beispiel:
    spring.data.mongodb.host=mongorep-mongodb-replica-1.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-0.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-2.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-3.mongorep-mongodbreplica.
    default.svc.cluster.local
    spring.data.mongodb.host=27017
  3. Bearbeiten Sie die Eigenschaften und geben Sie die Hosts und Ports für die Kafka- und ZooKeeper-Instanzen an.
    Wie die MongoDB-URLs müssen die Hosts und Ports von Kafka und ZooKeeper konkateniert werden, mit Ausnahme des letzten Ports, der seinen Wert aus den dedizierten Eigenschaften übernimmt.
    talend.kafka.brokers=host1:9092,host2:9092,host3
    talend.kafka.port=9092
    talend.zookeeper.nodes=host1:2181,host2:2181,host3
    talend.zookeeper.port=2181
    Geben Sie ebenfalls die nachstehend aufgeführten Peer-Portparameter an, die den Hostnamen mit der Portnummer identifizieren.
    kafka.broker=host1:9092,host2:9092,host3:9092
    schema.kafka.broker=host1:9092,host2:9092,host3:9092
    
  4. Um die Sitzungsdauer zu erhöhen und das Risiko unerwarteter Abmeldungen zu reduzieren, fügen Sie folgende Zeilen hinzu:
    security.token.renew-after=600
    security.token.invalid-after=3600
  5. Wiederholen Sie die obigen Schritte, um weitere Instanzen von Talend Data Stewardship zu installieren und zu konfigurieren.
    Sie müssen die Werte für die nachstehenden Parameter für jede Instanz von Talend Data Stewardship in <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties inkrementieren, damit jede Insteanz über eine eindeutige Eigenschaft verfügt:
    tds.dqDictionary.group=TDSCoreDqDictionaryGroup1
    schema.dqDictionary.group=SchemaServiceDqDictionaryGroup1
  6. Bearbeiten Sie die Dateien <Data_Stewardship_Path>/iam/apache-tomcat/clients/tds-client.json und fügen Sie die Weiterleitungs-URLs in den Feldern post_logout_redirect_uris und redirect_uris hinzu. Geben Sie dabei die Load Balancer-Ports an.
    Sie können auch direkt auf eine der Instanzen von Talend Data Stewardship zugreifen. Fügen Sie dazu die Weiterleitungs-URLs der anderen Instanzen in die Felder ein.
  7. Erstellen Sie Partitionen für Kafka-Topics in jeder Instanz von Talend Data Stewardship.
    1. Starten Sie eine Instanz von Talend Data Stewardship. Dadurch werden automatisch mehrere Kafka-Topics erstellt.
    2. Halten Sie die Instanz an und definieren Sie die Partitionen pro Topic manuell. Sie müssen so viele Partitionen definieren wie Kafka-Knoten vorhanden sind.
      Weitere Informationen können Sie der Kafka-Dokumentation entnehmen.
    3. Starten Sie die Instanz neu.

Ergebnisse

Sie haben mehrere Instanzen von Talend Data Stewardship installiert und für eine Verwendung im Cluster-Modus konfiguriert.