Recommandations sur l'environnement et la configuration de Talend Administration Center
Les recommandations suivantes se basent sur la version 6.0. de Talend Administration Center.
Les recommandations suivantes sont pour le moment incomplètes et doivent encore être étudiées :
- Ressources recommandées en fonction du nombre d'utilisateurs connectés au Studio.
- Ressources recommandées en fonction du nombre d'utilisateurs connectés à Talend Administration Center.
- Ressources recommandées en fonction du nombre d'exécutions simultanées de plans.
Ressources recommandées en fonction du nombre d'exécutions de tâches simultanées
|
(*) utilisant CPU Intel(R) Xeon(R) L5640 @ 2.27GHz (**) utilisant MySQL |
500 exécutions de plans et de tâches simultanées |
1 000 exécutions de plans et de tâches simultanées |
2 000 exécutions de plans et de tâches simultanées |
|---|---|---|---|
|
Nombre minimal recommandé de CPU (*) pour chaque hôte de Talend Administration Center |
2 |
4 |
8 |
|
Mémoire minimale recommandée pour chaque hôte de Talend Administration Center |
>= 3 000 Mo |
>= 4 000 Mo |
>= 8 000 Mo |
|
Mémoire minimale recommandée pour chaque JVM de Talend Administration Center (-Xmx) |
>= 1 500 Mo |
>= 3 000 Mo |
>= 6 000 Mo |
|
Nombre minimal recommandé de CPU (*) pour chaque hôte de la base de données (**) |
2 |
4 |
6 |
|
Mémoire minimale recommandée pour chaque hôte de la base de données (**) |
>= 1 500 Mo |
>= 3 000 Mo |
>= 6 000 Mo |
|
Nombre minimal recommandé de JobServers distants |
1 |
2 |
2 |
|
Nombre minimal recommandé de CPU (*) pour chaque hôte du JobServer (excepté le CPU nécessaire à la JVM des Jobs exécutés) |
1 |
2 |
2 |
|
Mémoire minimale recommandée pour chaque hôte du JobServer (exceptée la mémoire nécessaire à la JVM des Jobs exécutés) |
>= 1 000 Mo |
>= 2 500 Mo |
>= 5 000 Mo |
|
Mémoire minimale recommandée pour chaque JVM du JobServer (-Xmx) |
>= 250 Mo |
>= 500 Mo |
>= 1 000 Mo |
Configuration recommandée
|
Description |
Emplacement |
Propriété de configuration |
Valeur par défaut/minimale |
Valeur recommandée |
|---|---|---|---|---|
|
Nombre maximal de connexions à la base de données dans le pool de connexion Quartz |
Fichier de configuration de Talend Administration Center |
"WEB-INF/classes/quartz.properties" : org.quartz.dataSource.QRTZ_DS.maxConnections |
30 |
MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS |
|
Nombre maximal de Jobs simultanés gérés par l'ordonnanceur (Scheduler) |
Fichier de configuration de Talend Administration Center |
"WEB-INF/classes/quartz.properties" : org.quartz.threadPool.threadCount |
30 |
MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS |
|
Nombre maximal de connexions à la base de données de Talend Administration Center (excepté Quartz) |
Fichier de configuration de Talend Administration Center |
"WEB-INF/classes/configuration.properties" : hibernate.c3p0.max_size |
32 |
MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS + MAX_CONCURRENT_LOGGED_USERS |
|
Définit le délai entre chaque vérification de Jobs distants |
Table de la base de données de Talend Administration Center configuration |
scheduler.conf.taskStatusRefreshTime |
1 |
MAX_CONCURRENT_TASK_EXECUTIONS / 500 |
|
Définit la taille du pool de threads qui vérifie les dernières exécutions au démarrage |
Table de la base de données de Talend Administration Center configuration |
dashboard.conf.taskExecutionsHistory.threadPoolSize |
10 |
( MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS ) / 25 |
|
Définit la taille du pool de threads qui vérifie toutes les tâches au démarrage |
Table de la base de données de Talend Administration Center configuration |
scheduler.conf.simultaneousThreadsForStatusRefresh |
5 |
MAX_CONCURRENT_TASK_EXECUTIONS / 50 |
|
Définit le nombre maximal de fichiers ouverts lors du traitement de la base de données |
Hôte du serveur de la base de données |
Nombre maximal de fichiers ouverts : Par exemple, sous Linux, paramétrez les propriétés de configuration de Mysql "open_files_limit" et assurez-vous que la limite du fichier système est supérieure ou égale à la formule à droite. |
(dépend du système d'exploitation) |
( MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS + MAX_CONCURRENT_LOGGED_USERS ) x 3 |
|
Définit le nombre maximal de connexions autorisées à la base de données |
Serveur de la base de données |
Nombre maximal de connexions : Paramétrez les propriétés de configuration de Mysql, par exemple "max_connections = 10000". |
(dépend du vendeur de la base de données) |
( MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS + MAX_CONCURRENT_LOGGED_USERS ) x 3 |
|
Définit le nombre maximal de connexions simultanées accepté par le JobServer |
Fichier de configuration du JobServer |
"conf/TalendJobServer.properties" : org.talend.remote.server.MultiSocketServer. MAX_CONCURRENT_CONNECTIONS |
1000 |
MAX_CONCURRENT_JOBS_EXECUTIONS x 2 |
Définition des variables utilisées dans le tableau ci-dessus
| Variable | Description |
|---|---|
|
MAX_CONCURRENT_JOBS_EXECUTIONS |
Nombre maximal attendu de Jobs exécutés simultanément pour le JobServer |
|
MAX_CONCURRENT_LOGGED_USERS |
Nombre maximal attendu d'utilisateurs connectés (Talend Administration Center + Studio) simultanément pour Talend Administration Center |
|
MAX_CONCURRENT_PLAN_EXECUTIONS |
Nombre maximal attendu d'exécutions simultanées de plans pour Talend Administration Center |
|
MAX_CONCURRENT_TASK_EXECUTIONS |
Nombre maximal attendu d'exécutions simultanées de tâches pour Talend Administration Center |
-
"WEB-INF/classes/quartz.properties" :
org.quartz.dataSource.QRTZ_DS.maxConnections = 1000
org.quartz.threadPool.threadCount = 1000"
-
WEB-INF/classes/configuration.properties" :
hibernate.c3p0.max_size=1000
-
"conf/TalendJobServer.properties" :
org.talend.remote.server.MultiSocketServer.MAX_CONCURRENT_CONNECTIONS=2000