Recommandations sur l'environnement et la configuration de Talend Administration Center
Les recommandations suivantes se basent sur la version 6.0. de Talend Administration Center.
Les recommandations suivantes sont à l'heure actuelle incomplètes et doivent être encore étudiées :
- ressources recommandées en fonction du nombre d'utilisateurs connectés au Studio
- ressources recommandées en fonction du nombre d'utilisateurs connectés à Talend Administration Center
- ressources recommandées en fonction du nombre d'exécutions simultanées de plans
Ressources recommandées en fonction du nombre d'exécutions de tâches simultanées
(*) utilisant CPU Intel(R) Xeon(R) L5640 @ 2.27GHz (**) utilisant MySQL |
500 exécutions de plans et de tâches simultanées |
1 000 exécutions de plans et de tâches simultanées |
2 000 exécutions de plans et de tâches simultanées |
---|---|---|---|
Nombre minimal recommandé de CPU (*) pour chaque hôte de Talend Administration Center |
2 |
4 |
8 |
Mémoire minimale recommandée pour chaque hôte de Talend Administration Center |
>= 3 000 Mo |
>= 4 000 Mo |
>= 8 000 Mo |
Mémoire minimale recommandée pour chaque JVM de Talend Administration Center (-Xmx) |
>= 1 500 Mo |
>= 3 000 Mo |
>= 6 000 Mo |
Nombre minimal recommandé de CPU (*) pour chaque hôte de la base de données (**) |
2 |
4 |
6 |
Mémoire minimale recommandée pour chaque hôte de la base de données (**) |
>= 1 500 Mo |
>= 3 000 Mo |
>= 6 000 Mo |
Nombre minimal recommandé de JobServers distants |
1 |
2 |
2 |
Nombre minimal recommandé de CPU (*) pour chaque hôte du JobServer (excepté le CPU nécessaire à la JVM des Jobs exécutés) |
1 |
2 |
2 |
Mémoire minimale recommandée pour chaque hôte du JobServer (excepté la mémoire nécessaire à la JVM des Jobs exécutés) |
>= 1 000 Mo |
>= 2 500 Mo |
>= 5 000 Mo |
Mémoire minimale recommandée pour chaque JVM du JobServer (-Xmx) |
>= 250 Mo |
>= 500 Mo |
>= 1 000 Mo |
Configuration recommandée
Description |
Emplacement |
Propriété de configuration |
Valeur par défaut/minimale |
Valeur recommandée |
---|---|---|---|---|
Nombre maximal de connexions à la base de données dans le pool de connexion Quartz |
Fichier de configuration de Talend Administration Center |
"WEB-INF/classes/quartz.properties" : org.quartz.dataSource.QRTZ_DS.maxConnections |
30 |
MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS |
Nombre maximal de Jobs simultanés gérés par l'ordonnanceur (Scheduler) |
Fichier de configuration de Talend Administration Center |
"WEB-INF/classes/quartz.properties" : org.quartz.threadPool.threadCount |
30 |
MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS |
Nombre maximal de connexions à la base de données de Talend Administration Center (excepté Quartz) |
Fichier de configuration de Talend Administration Center |
"WEB-INF/classes/configuration.properties" : hibernate.c3p0.max_size |
32 |
MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS + MAX_CONCURRENT_LOGGED_USERS |
Définit le délai entre chaque vérification de Jobs distants |
Table de la base de données de Talend Administration Center configuration |
scheduler.conf.taskStatusRefreshTime |
1 |
MAX_CONCURRENT_TASK_EXECUTIONS / 500 |
Définit la taille du pool de threads qui vérifie les dernières exécutions au démarrage |
Table de la base de données de Talend Administration Center configuration |
dashboard.conf.taskExecutionsHistory.threadPoolSize |
10 |
( MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS ) / 25 |
Définit la taille du pool de threads qui vérifie toutes les tâches au démarrage |
Table de la base de données de Talend Administration Center configuration |
scheduler.conf.simultaneousThreadsForStatusRefresh |
5 |
MAX_CONCURRENT_TASK_EXECUTIONS / 50 |
Définit le nombre maximal de fichiers ouverts lors du traitement de la base de données |
Hôte du serveur de la base de données |
Nombre maximal de fichiers ouverts : Par exemple, sous Linux, paramétrez les propriétés de configuration de Mysql "open_files_limit" et assurez-vous que la limite du fichier système est supérieure ou égale à la formule à droite. |
(dépend du système d'exploitation) |
( MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS + MAX_CONCURRENT_LOGGED_USERS ) x 3 |
Définit le nombre maximal de connexions autorisées à la base de données |
Serveur de la base de données |
Nombre maximal de connexions : Paramétrez les propriétés de configuration de Mysql, par exemple "max_connections = 10000". |
(dépend du vendeur de la base de données) |
( MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS + MAX_CONCURRENT_LOGGED_USERS ) x 3 |
Définit le nombre maximal de connexions simultanées accepté par le JobServer |
Fichier de configuration du JobServer |
"conf/TalendJobServer.properties" : org.talend.remote.server.MultiSocketServer. MAX_CONCURRENT_CONNECTIONS |
1 000 |
MAX_CONCURRENT_JOBS_EXECUTIONS x 2 |
Définition des variables utilisées dans le tableau ci-dessus
Variable | Description |
---|---|
MAX_CONCURRENT_JOBS_EXECUTIONS |
Nombre maximal attendu de Jobs exécutés simultanément pour le JobServer |
MAX_CONCURRENT_LOGGED_USERS |
Nombre maximal attendu d'utilisateurs connectés (Talend Administration Center + Studio) simultanément pour Talend Administration Center |
MAX_CONCURRENT_PLAN_EXECUTIONS |
Nombre maximal attendu d'exécutions simultanées de plans pour Talend Administration Center |
MAX_CONCURRENT_TASK_EXECUTIONS |
Nombre maximal attendu d'exécutions simultanées de tâches pour Talend Administration Center |