Recommandations sur l'environnement et la configuration de Talend Administration Center - 7.2

EnrichVersion
7.2
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
task
Administration et monitoring
EnrichPlatform
Talend Administration Center

Recommandations sur l'environnement et la configuration de Talend Administration Center

Cet article s'adresse aux utilisateurs de Talend Administration Center qui souhaitent optimiser leur environnement afin de supporter un nombre donné de tâches simultanées.

Les recommandations suivantes se basent sur la version 6.0. de Talend Administration Center.

Les recommandations suivantes sont pour le moment incomplètes et doivent encore être étudiées :

  • Ressources recommandées en fonction du nombre d'utilisateurs connectés au Studio.
  • Ressources recommandées en fonction du nombre d'utilisateurs connectés à Talend Administration Center.
  • Ressources recommandées en fonction du nombre d'exécutions simultanées de plans.

Ressources recommandées en fonction du nombre d'exécutions de tâches simultanées

(*) utilisant CPU Intel(R) Xeon(R) L5640 @ 2.27GHz

(**) utilisant MySQL

500 exécutions de plans et de tâches simultanées

1 000 exécutions de plans et de tâches simultanées

2 000 exécutions de plans et de tâches simultanées

Nombre minimal recommandé de CPU (*) pour chaque hôte de Talend Administration Center

2

4

8

Mémoire minimale recommandée pour chaque hôte de Talend Administration Center

>= 3 000 Mo

>= 4 000 Mo

>= 8 000 Mo

Mémoire minimale recommandée pour chaque JVM de Talend Administration Center (-Xmx)

>= 1 500 Mo

>= 3 000 Mo

>= 6 000 Mo

Nombre minimal recommandé de CPU (*) pour chaque hôte de la base de données (**)

2

4

6

Mémoire minimale recommandée pour chaque hôte de la base de données (**)

>= 1 500 Mo

>= 3 000 Mo

>= 6 000 Mo

Nombre minimal recommandé de JobServers distants

1

2

2

Nombre minimal recommandé de CPU (*) pour chaque hôte du JobServer

(excepté le CPU nécessaire à la JVM des Jobs exécutés)

1

2

2

Mémoire minimale recommandée pour chaque hôte du JobServer

(exceptée la mémoire nécessaire à la JVM des Jobs exécutés)

>= 1 000 Mo

>= 2 500 Mo

>= 5 000 Mo

Mémoire minimale recommandée pour chaque JVM du JobServer (-Xmx)

>= 250 Mo

>= 500 Mo

>= 1 000 Mo

Configuration recommandée

Description

Emplacement

Propriété de configuration

Valeur par défaut/minimale

Valeur recommandée

Nombre maximal de connexions à la base de données dans le pool de connexion Quartz

Fichier de configuration de Talend Administration Center

"WEB-INF/classes/quartz.properties" :

org.quartz.dataSource.QRTZ_DS.maxConnections

30

MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS

Nombre maximal de Jobs simultanés gérés par l'ordonnanceur (Scheduler)

Fichier de configuration de Talend Administration Center

"WEB-INF/classes/quartz.properties" :

org.quartz.threadPool.threadCount

30

MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS

Nombre maximal de connexions à la base de données de Talend Administration Center (excepté Quartz)

Fichier de configuration de Talend Administration Center

"WEB-INF/classes/configuration.properties" :

hibernate.c3p0.max_size

32

MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS + MAX_CONCURRENT_LOGGED_USERS

Définit le délai entre chaque vérification de Jobs distants

Table de la base de données de Talend Administration Center configuration

scheduler.conf.taskStatusRefreshTime

1

MAX_CONCURRENT_TASK_EXECUTIONS / 500

Définit la taille du pool de threads qui vérifie les dernières exécutions au démarrage

Table de la base de données de Talend Administration Center configuration

dashboard.conf.taskExecutionsHistory.threadPoolSize

10

( MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS ) / 25

Définit la taille du pool de threads qui vérifie toutes les tâches au démarrage

Table de la base de données de Talend Administration Center configuration

scheduler.conf.simultaneousThreadsForStatusRefresh

5

MAX_CONCURRENT_TASK_EXECUTIONS / 50

Définit le nombre maximal de fichiers ouverts lors du traitement de la base de données

Hôte du serveur de la base de données

Nombre maximal de fichiers ouverts :

Par exemple, sous Linux, paramétrez les propriétés de configuration de Mysql "open_files_limit" et assurez-vous que la limite du fichier système est supérieure ou égale à la formule à droite.

(dépend du système d'exploitation)

( MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS + MAX_CONCURRENT_LOGGED_USERS ) x 3

Définit le nombre maximal de connexions autorisées à la base de données

Serveur de la base de données

Nombre maximal de connexions :

Paramétrez les propriétés de configuration de Mysql, par exemple "max_connections = 10000".

(dépend du vendeur de la base de données)

( MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS + MAX_CONCURRENT_LOGGED_USERS ) x 3

Définit le nombre maximal de connexions simultanées accepté par le JobServer

Fichier de configuration du JobServer

"conf/TalendJobServer.properties" :

org.talend.remote.server.MultiSocketServer.

MAX_CONCURRENT_CONNECTIONS

1000

MAX_CONCURRENT_JOBS_EXECUTIONS x 2

Définition des variables utilisées dans le tableau ci-dessus

Variable Description

MAX_CONCURRENT_JOBS_EXECUTIONS

Nombre maximal attendu de Jobs exécutés simultanément pour le JobServer

MAX_CONCURRENT_LOGGED_USERS

Nombre maximal attendu d'utilisateurs connectés (Talend Administration Center + Studio) simultanément pour Talend Administration Center

MAX_CONCURRENT_PLAN_EXECUTIONS

Nombre maximal attendu d'exécutions simultanées de plans pour Talend Administration Center

MAX_CONCURRENT_TASK_EXECUTIONS

Nombre maximal attendu d'exécutions simultanées de tâches pour Talend Administration Center

Les paramètres suivants sont recommandés pour un environnement de référence :
  • "WEB-INF/classes/quartz.properties" :

    org.quartz.dataSource.QRTZ_DS.maxConnections = 1000

    org.quartz.threadPool.threadCount = 1000"

  • WEB-INF/classes/configuration.properties" :

    hibernate.c3p0.max_size=1000

  • "conf/TalendJobServer.properties" :

    org.talend.remote.server.MultiSocketServer.MAX_CONCURRENT_CONNECTIONS=2000