Zu Hauptinhalt springen Zu ergänzendem Inhalt springen

Installieren von Talend Data Stewardship im Cluster-Modus

Um Talend Data Stewardship im Cluster-Modus zu installieren, müssen Sie in der Konfigurationsdatei <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties einige Änderungen vornehmen.

Für die Durchführung dieser Installation müssen Sie so viele Instanzen von Talend Data Stewardship wie erforderlich mit den zugehörigen Abhängigkeiten installieren und konfigurieren.

Vorbereitungen

  • Sie haben einen Load Balancer für Talend Data Stewardship konfiguriert.
  • Sie haben MongoDB im Cluster-Modus konfiguriert. Weitere Informationen können Sie der MongoDB-Dokumentation entnehmen.
  • Sie haben Kafka und ZooKeeper im Cluster-Modus konfiguriert. Weitere Informationen können Sie der ZooKeeper-Dokumentation un der Kafka-Dokumentation entnehmen.

Prozedur

  1. Installieren Sie eine erste Instanz von Talend Data Stewardship.
    Weitere Informationen zum Installationsverfahren finden Sie hier: Manuelles Installieren von Talend Data Stewardship.
  2. Bearbeiten Sie in der Datei <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties die Eigenschaft spring.data.mongodb.host, um die Hosts und Ports der verschiedenen MongoDB-Instanzen anzugeben.
    Beachten Sie dabei die folgende Syntax:
    spring.data.mongodb.host=<host1>:<port1>,<host2>:<port2>,...,<hostN>
    Die Hosts und Ports für die verschiedenen URLs müssen konkateniert werden, mit Ausnahme des letzten Hosts, der den Wert der Eigenschaft mongodb.port übernimmt. Beispiel:
    spring.data.mongodb.host=mongorep-mongodb-replica-1.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-0.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-2.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-3.mongorep-mongodbreplica.
    default.svc.cluster.local
    spring.data.mongodb.host=27017
  3. Bearbeiten Sie die Eigenschaften und geben Sie die Hosts und Ports für die Kafka- und ZooKeeper-Instanzen an.
    Wie die MongoDB-URLs müssen die Hosts und Ports von Kafka und ZooKeeper konkateniert werden, mit Ausnahme des letzten Ports, der seinen Wert aus den dedizierten Eigenschaften übernimmt.
    talend.kafka.brokers=host1:9092,host2:9092,host3
    talend.kafka.port=9092
    talend.zookeeper.nodes=host1:2181,host2:2181,host3
    talend.zookeeper.port=2181
    Geben Sie ebenfalls die nachstehend aufgeführten Peer-Portparameter an, die den Hostnamen mit der Portnummer identifizieren.
    kafka.broker=host1:9092,host2:9092,host3:9092
    schema.kafka.broker=host1:9092,host2:9092,host3:9092
    
  4. Um die Sitzungsdauer zu erhöhen und das Risiko unerwarteter Abmeldungen zu reduzieren, fügen Sie folgende Zeilen hinzu:
    security.token.renew-after=600
    security.token.invalid-after=3600
  5. Wiederholen Sie die obigen Schritte, um weitere Instanzen von Talend Data Stewardship zu installieren und zu konfigurieren.
    Sie müssen die Werte für die nachstehenden Parameter für jede Instanz von Talend Data Stewardship in <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties inkrementieren, damit jede Insteanz über eine eindeutige Eigenschaft verfügt:
    tds.dqDictionary.group=TDSCoreDqDictionaryGroup1
    schema.dqDictionary.group=SchemaServiceDqDictionaryGroup1
  6. Bearbeiten Sie die Dateien <Data_Stewardship_Path>/iam/apache-tomcat/clients/tds-client.json und fügen Sie die Weiterleitungs-URLs in den Feldern post_logout_redirect_uris und redirect_uris hinzu. Geben Sie dabei die Load Balancer-Ports an.
    Sie können auch direkt auf eine der Instanzen von Talend Data Stewardship zugreifen. Fügen Sie dazu die Weiterleitungs-URLs der anderen Instanzen in die Felder ein.
  7. Erstellen Sie Partitionen für Kafka-Topics in jeder Instanz von Talend Data Stewardship.
    1. Starten Sie eine Instanz von Talend Data Stewardship. Dadurch werden automatisch mehrere Kafka-Topics erstellt.
    2. Halten Sie die Instanz an und definieren Sie die Partitionen pro Topic manuell. Sie müssen so viele Partitionen definieren wie Kafka-Knoten vorhanden sind.
      Weitere Informationen können Sie der Kafka-Dokumentation entnehmen.
    3. Starten Sie die Instanz neu.

Ergebnisse

Sie haben mehrere Instanzen von Talend Data Stewardship installiert und für eine Verwendung im Cluster-Modus konfiguriert.

Hat diese Seite Ihnen geholfen?

Wenn Sie Probleme mit dieser Seite oder ihren Inhalten feststellen – einen Tippfehler, einen fehlenden Schritt oder einen technischen Fehler –, teilen Sie uns bitte mit, wie wir uns verbessern können!