Talend Data Preparation en mode cluster - 6.4

Talend Data Management Platform Guide d'installation pour Windows

EnrichVersion
6.4
EnrichProdName
Talend Data Management Platform
task
Installation et mise à niveau
EnrichPlatform
Studio Talend
Talend Activity Monitoring Console
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend Data Preparation
Talend Data Stewardship
Talend DQ Portal
Talend Installer
Talend JobServer
Talend Log Server
Talend Project Audit
Talend Repository Manager
Talend Runtime
Talend SAP RFC Server

Vous pouvez installer plusieurs instances de Talend Data Preparation en mode cluster si vous souhaitez tirer parti de la haute disponibilité et d'une meilleure évolutivité au sein de votre produit.

Le clustering est le processus de regroupement d'un ensemble de systèmes physiques similaires afin d'assurer un certain niveau de continuité opérationnelle et de minimiser les risques d'arrêt non planifié, notamment en tirant parti des fonctionnalités de répartition de charge et de failover.

Cette documentation fournit les procédures de configuration d'un cluster pour Talend Data Preparation et, de manière facultative, pour Talend Dictionary Service.

Architecture de Talend Data Preparation en mode cluster

Le diagramme suivant illustre l'architecture derrière Talend Data Preparation et Talend Dictionary Service lors d'une configuration en mode cluster.

Cette architecture se compose de plusieurs blocs fonctionnels :

  • Un répartiteur de charge (Load Balancer), distribuant la charge de travail des différents utilisateurs accédant en même temps à l'application Web Talend Data Preparation et au serveur de Talend Dictionary Service.

    Note

    Le même répartisseur de charge peut être utilisé pour Talend Data Preparation et Talend Dictionary Service. De plus, le repartisseur de charge peut être physique ou logique.

  • Les instances de Talend Data Preparation, connectées par un réseau de système de fichier, ou n''importe quel dossier partagé accessible depuis toute les instances de Talend Data Preparation.

  • Les instances de Talend Dictionary Service que vous pouvez installer de manière facultative si vous souhaitez ajouter, supprimer ou modifier les types sémantiques utilisés dans Talend Data Preparation.

  • Un bloc contenant les différents composants nécessaires pour que Talend Data Preparation et Talend Dictionary Service fonctionnent, à savoir différentes instances de MongoDB pour le stockage, Kafka et Zookeeper pour le messaging et une instance de Talend Administration Center pour gérer les autorisations.

Installer Talend Data Preparation en mode cluster

Pour installer Talend Data Preparation en mode cluster, vous devez effectuer quelques modifications dans le fichier de configuration <Data_Preparation_Path>/config/application.properties.

Pour effectuer cette installation, vous devez installer et configurer autant d'instances de Talend Data Preparation et de ses dépendances que nécessaire.

Prérequis :

  • Vous avez configuré un Load Balancer pour chaque module, à savoir Talend Data Preparation et, de manière facultative, Talend Dictionary Service.

  • Vous avez configuré MongoDB en mode cluster. Pour plus d'informations, consultez la documentation de MongoDB (en anglais).

  • Vous avez configuré Kafka et Zookeeper en mode cluster. Pour plus d'informations, consultez la documentation Zookeeper et la documentation Kafka (en anglais).

  1. Installez une première instance de Talend Data Preparation.

    Pour plus d'informations sur la procédure d'installation de Talend Data Preparation, consultez Installer et configurer Talend Data Preparation .

  2. Dans le fichier <Data_Preparation_Path>/config/application.properties, modifiez la propriété mongodb.host pour spécifier les hôtes et ports des différentes instances de MongoDB.

    Utilisez la syntaxe suivante :

    spring.data.mongodb.host=<host1>:<port1>,<host2>:<port2>,...,<hostN>

    Les hôtes et ports des différentes URL doivent être concaténés, sauf le dernier hôte, qui va hériter de la valeur de la propriété mongodb.port. mongodb.port . Par exemple :

    mongodb.host=mongorep-mongodb-replica-1.mongorep-mongodb-replica.default.svc.cluster.local:27017,
    mongorep-mongodb-replica-0.mongorep-mongodb-replica.default.svc.cluster.local:27017,
    mongorep-mongodb-replica-2.mongorep-mongodb-replica.default.svc.cluster.local:27017,
    mongorep-mongodb-replica-3.mongorep-mongodb-replica.default.svc.cluster.local
    mongodb.port=27017
  3. Modifiez les propriétés service.cache.file.location et dataset.content.store.file.location afin de spécifier l'emplacement de votre Network File System, ou du dossier partagé devant être accessible depuis toutes les instances de Talend Data Preparation. Par exemple :

    service.cache.file.location=sharedContent/
    dataset.content.store.file.location=sharedContent/store/datasets/content/

  4. Si vous souhaitez utiliserTalend Dictionary Service dans Talend Data Preparationpour ajouter, modifier ou supprimer des types sémantiques, éditez les propriétés spécifiant les hôtes et les ports des instance Kafka et Zookeeper.

    De la même manière que pour les URL de MongoDB, les hôtes et ports Kafka et Zookeeper doivent être concaténés, sauf le dernier port, hérité des propriétés dédiées.

    spring.cloud.stream.kafka.binder.brokers=host1:9092,host2:9092,host3
    spring.cloud.stream.kafka.binder.zkNodes=host1:2181,host2:2181,host3
    spring.cloud.stream.kafka.binder.defaultBrokerPort=9092
    spring.cloud.stream.kafka.binder.defaultZkPort=2181
  5. Pour augmenter la durée de la session et réduire les risques de déconnexions inattendues, ajoutez les lignes suivantes :

    security.token.renew-after=600
    security.token.invalid-after=3600
  6. Répétez ces procédures d'installation et de configuration pour chaque instance de Talend Data Preparation que vous souhaitez installer.

Vous avez installé plusieurs instances de Talend Data Preparation et les avez configurées pour qu'elles fonctionnent en mode cluster.

Installing Talend Dictionary Service in cluster mode

You can optionally install Talend Dictionary Service in cluster mode, to add, remove, or edit the semantic types used on data in Talend Data Stewardship.

To install Talend Dictionary Service in cluster mode, you need to modify the <Tomcat>/conf/data-quality.properties configuration file.

To perform this installation, you need to install and configure as many instances of Talend Dictionary Service, and its dependencies, as necessary.

Prerequisites:

  • You have configured a Load Balancer for Talend Dictionary Service.

    Note

    The same Load Balancer can be user for Talend Data Preparation, Talend Data Stewardship and Talend Dictionary Service. In addition, the Load Balancer can be either physical, or logical.

  • You have configured MongoDB in cluster mode. For more information, see MongoDB documentation.

  • You have configured Kafka and Zookeeper in cluster mode. For more information, see Zookeeper documentation and Kafka documentation.

  1. Install a first Talend Dictionary Service instance.

    For more information on the installation procedure, see Installer et configurer Talend Dictionary Service .

  2. In the <Tomcat>/conf/data-quality.properties file, edit the mongodb.host property to specify the hosts and ports of the several MongoDB instances.

    Use the following syntax:

    mongodb.host=<host1>:<port1>,<host2>:<port2>,...,<hostN>

    The hosts and ports for the different URLs must be concatenated, except for the last host, that will inherit the value of the mongodb.port property. For example:

    mongodb.host=mongorep-mongodb-replica-1.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-0.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-2.mongorep-mongodbreplica.
    default.svc.cluster.local:27017,
    mongorep-mongodb-replica-3.mongorep-mongodbreplica.
    default.svc.cluster.local
    mongodb.port=27017
  3. Edit the properties specifying the hosts and ports for the Kafka and Zookeeper instances.

    In the same way as the MongoDB URLs, the Kafka and Zookeeper hosts and ports must be concatenated, except for the last port, that is inherited from the dedicated properties.

    spring.cloud.stream.kafka.binder.brokers=host1:9092,host2:9092,host3
    spring.cloud.stream.kafka.binder.zkNodes=host1:2181,host2:2181,host3
    spring.cloud.stream.kafka.binder.defaultBrokerPort=9092
    spring.cloud.stream.kafka.binder.defaultZkPort=2181
  4. Repeat this installation and configuration procedure for each instance of Talend Dictionary Service that you want to install.

You have installed several Talend Dictionary Service instances and configured them to work in cluster mode.

Talend Data Preparation Limitations du mode cluster de

Lorsque Talend Data Preparation est installé en mode cluster, des déconnexions inattendues de l'interface peuvent survenir, même si le risque est minimal. Consultez le ticket Jira correspondant : https://jira.talendforge.org/browse/TDP-3699.