Installation de Talend Data Stewardship en mode cluster

Guide d'installation de Talend Data Management Platform pour Linux

EnrichVersion
6.5
EnrichProdName
Talend Data Management Platform
task
Installation et mise à niveau
EnrichPlatform
Talend Administration Center
Talend Activity Monitoring Console
Talend Data Stewardship
Talend JobServer
Talend SAP RFC Server
Talend Installer
Talend Artifact Repository
Talend Data Preparation
Talend Repository Manager
Talend CommandLine
Studio Talend
Talend Log Server
Talend Identity and Access Management
Talend DQ Portal
Talend Runtime

Pour installer Talend Data Stewardship en mode cluster, vous devez effectuer des modifications dans le fichier de configuration <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties.

Pour effectuer cette installation, vous devez installer et configurer autant d'instances de Talend Data Stewardship et ses dépendances que nécessaire.

Avant de commencer

  • Vous avez configuré un Load Balancer pour chaque module, à savoir Talend Data Stewardship.
  • Vous avez configuré MongoDB en mode cluster. Pour plus d'informations, consultez la documentation de MongoDB (en anglais).
  • Vous avez configuré Kafka et Zookeeper en mode cluster. Pour plus d'informations, consultez la documentation Zookeeper et la documentation Kafka (en anglais).

Procédure

  1. Installez une première instance de Talend Data Stewardship.
    Pour plus d'informations concernant la procédure d'installation, consultez Installation et configuration Talend Data Stewardship.
  2. Dans le fichier <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties, modifiez la propriété mongodb.host pour spécifier les hôtes et ports des différentes instances de MongoDB.
    Utilisez la syntaxe suivante :
    spring.data.mongodb.host=<host1>:<port1>,<host2>:<port2>,...,<hostN>
    Les hôtes et ports des différentes URL doivent être concaténés, excepté le dernier hôte, qui héritera de la valeur de la propriété mongodb.port. Par exemple :
    spring.data.mongodb.host=mongorep-mongodb-replica-1.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-0.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-2.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-3.mongorep-mongodbreplica.
    default.svc.cluster.local
    spring.data.mongodb.host=27017
  3. Modifiez les propriétés spécifiant les hôtes et les ports des instances de Kafka et Zookeeper.
    De la même manière que pour les URL de MongoDB, les hôtes et ports de Kafka et Zookeeper doivent être concaténés, sauf le dernier port, hérité des propriétés dédiées.
    talend.kafka.brokers=host1:9092,host2:9092,host3
    talend.kafka.port=9092
    talend.zookeeper.nodes=host1:2181,host2:2181,host3
    talend.zookeeper.port=2181
    Spécifiez également les paramètres des ports identifiant le nom d'hôte et le numéro de port.
    kafka.broker=host1:9092,host2:9092,host3:9092
    schema.kafka.broker=host1:9092,host2:9092,host3:9092
    
  4. Pour augmenter la durée de la session et réduire les risques de déconnexions inattendues, ajoutez les lignes suivantes :
    security.token.renew-after=600
    security.token.invalid-after=3600
  5. Répétez ces étapes d'installation et de configuration des autres instances de Talend Data Stewardship. Incrémentez la valeur dans le paramètre service.instance.id dans <Data_Stewardship_Path>/tds/apache-tomcat/conf/data-stewardship.properties pour utiliser un identifiant unique par instance.
  6. Modifiez les fichiers <Data_Stewardship_Path>/iam/apache-tomcat/clients/tds-client.json pour ajouter les URL de redirection dans les champs post_logout_redirect_uris et redirect_uris spécifiant les ports de répartition de charge.
    Vous pouvez également ajouter les URL de redirection des autres instances dans les champs, pour accéder directement à l'une des instances de Talend Data Stewardship.
  7. Créez des partitions pour les topics Kafka dans chaque instance de Talend Data Stewardship :
    1. Démarrez une instance de Talend Data Stewardship. Cela crée automatiquement plusieurs topics Kafka.
    2. Arrêtez l'instance et définissez les partitions par topic manuellement. Vous devez définir autant de partitions que de nœuds Kafka.
      Pour plus d'informations, consultez la documentation Kafka (en anglais).
    3. Redémarrez l'instance.

Résultats

Vous avez installé et configuré plusieurs instances de Talend Data Stewardship pour qu'elles fonctionnent en mode cluster.