Installer Talend Data Preparation en mode cluster - 7.0

Guide d'installation de Talend Big Data pour Windows

EnrichVersion
7.0
EnrichProdName
Talend Big Data
task
Installation et mise à niveau
EnrichPlatform
Studio Talend
Talend Activity Monitoring Console
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend Data Preparation
Talend Data Stewardship
Talend Identity and Access Management
Talend Installer
Talend JobServer
Talend Log Server
Talend Runtime

Pour installer Talend Data Preparation en mode cluster, vous devez effectuer des ajouts au fichier de configuration <Data_Preparation_Path>/config/application.properties.

Pour effectuer cette installation, vous devez installer et configurer autant d'instances de Talend Data Preparation et de ses dépendances que nécessaire.

Avant de commencer

  • Chaque produit, Talend Data Preparation et de manière facultative Talend Dictionary Service, nécessite l'utilisation d'un Load Balancer.
  • Vous avez configuré MongoDB en mode cluster. Pour plus d'informations, consultez la documentation de MongoDB (en anglais).
  • Vous avez configuré Kafka et Zookeeper en mode cluster. Pour plus d'informations, consultez la documentation Zookeeper et la documentation Kafka (en anglais).

Procédure

  1. Installez une première instance de Talend Data Preparation.

    Pour plus d'informations concernant la procédure d'installation de Talend Data Preparation, consultez Installer Talend Data Preparation manuellement.

  2. Dans le fichier <Data_Preparation_Path>/config/application.properties, modifiez la propriété mongodb.host afin de spécifier les hôtes et les ports des instances de MongoDB.

    Utilisez la syntaxe suivante : mongodb.host=<host1>:<port1>,<host2>:<port2>,…,<hostN>. Les hôtes et ports des différentes URL doivent être concaténés, sauf le dernier hôte, qui va hériter de la valeur de la propriété mongodb.port. Par exemple :

    mongodb.host=mongorep-mongodb-replica-1.mongorep-mongodb-replica.default.svc.cluster.local:27017,
    mongorep-mongodb-replica-0.mongorep-mongodb-replica.default.svc.cluster.local:27017,
    mongorep-mongodb-replica-2.mongorep-mongodb-replica.default.svc.cluster.local:27017,
    mongorep-mongodb-replica-3.mongorep-mongodb-replica.default.svc.cluster.local
    mongodb.port=27017
  3. Modifiez les propriétés service.cache.file.location et dataset.content.store.file.location afin de spécifier l'emplacement de votre Network File System, ou dossier partagé devant être disponible à toutes les instances de Talend Data Preparation.
    service.cache.file.location=sharedContent/
    dataset.content.store.file.location=sharedContent/store/datasets/content/
  4. Modifiez les propriétés spécifiant les hôtes et les ports des instances de Kafka et Zookeeper.

    De la même manière que pour les URL de MongoDB, les hôtes et ports Kafka et Zookeeper doivent être concaténés, sauf le dernier port, hérité des propriétés dédiées.

    spring.cloud.stream.kafka.binder.brokers=host1:9092,host2:9092,host3
    spring.cloud.stream.kafka.binder.zkNodes=host1:2181,host2:2181,host3
    spring.cloud.stream.kafka.binder.defaultBrokerPort=9092
    spring.cloud.stream.kafka.binder.defaultZkPort=2181
  5. Pour augmenter la durée de la session et réduire les risques de déconnexions inattendues, ajoutez les lignes suivantes :
    security.token.renew-after=600
    security.token.invalid-after=3600
  6. Répétez ces procédures d'installation et de configuration pour chaque instance de Talend Data Preparation que vous souhaitez installer.

Résultats

Vous avez installé plusieurs instances de Talend Data Preparation et les avez configurées pour qu'elles fonctionnent en mode cluster.