Configuration recommandée - 7.2

Guide d'installation de Talend Big Data Platform pour Linux

EnrichVersion
7.2
EnrichProdName
Talend Big Data Platform
EnrichPlatform
Studio Talend
Talend Activity Monitoring Console
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend Data Preparation
Talend Data Stewardship
Talend DQ Portal
Talend Identity and Access Management
Talend Installer
Talend JobServer
Talend Log Server
Talend Repository Manager
Talend Runtime
Talend SAP RFC Server
task
Installation et mise à niveau

Description

Emplacement

Propriété de configuration

Valeur par défaut/minimale

Valeur recommandée

Nombre maximal de connexions à la base de données dans le pool de connexion Quartz

Fichier de configuration de Talend Administration Center

"WEB-INF/classes/quartz.properties" :

org.quartz.dataSource.QRTZ_DS.maxConnections

30

MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS

Nombre maximal de Jobs simultanés gérés par l'ordonnanceur (Scheduler)

Fichier de configuration de Talend Administration Center

"WEB-INF/classes/quartz.properties" :

org.quartz.threadPool.threadCount

30

MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS

Nombre maximal de connexions à la base de données de Talend Administration Center (excepté Quartz)

Fichier de configuration de Talend Administration Center

"WEB-INF/classes/configuration.properties" :

hibernate.c3p0.max_size

32

MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS + MAX_CONCURRENT_LOGGED_USERS

Définit le délai entre chaque vérification de Jobs distants

Table de la base de données de Talend Administration Center configuration

scheduler.conf.taskStatusRefreshTime

1

MAX_CONCURRENT_TASK_EXECUTIONS / 500

Définit la taille du pool de threads qui vérifie les dernières exécutions au démarrage

Table de la base de données de Talend Administration Center configuration

dashboard.conf.taskExecutionsHistory.threadPoolSize

10

( MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS ) / 25

Définit la taille du pool de threads qui vérifie toutes les tâches au démarrage

Table de la base de données de Talend Administration Center configuration

scheduler.conf.simultaneousThreadsForStatusRefresh

5

MAX_CONCURRENT_TASK_EXECUTIONS / 50

Définit le nombre maximal de fichiers ouverts lors du traitement de la base de données

Hôte du serveur de la base de données

Nombre maximal de fichiers ouverts :

Par exemple, sous Linux, paramétrez les propriétés de configuration de Mysql "open_files_limit" et assurez-vous que la limite du fichier système est supérieure ou égale à la formule à droite.

(dépend du système d'exploitation)

( MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS + MAX_CONCURRENT_LOGGED_USERS ) x 3

Définit le nombre maximal de connexions autorisées à la base de données

Serveur de la base de données

Nombre maximal de connexions :

Paramétrez les propriétés de configuration de Mysql, par exemple "max_connections = 10000".

(dépend du vendeur de la base de données)

( MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS + MAX_CONCURRENT_LOGGED_USERS ) x 3

Définit le nombre maximal de connexions simultanées accepté par le JobServer

Fichier de configuration du JobServer

"conf/TalendJobServer.properties" :

org.talend.remote.server.MultiSocketServer.

MAX_CONCURRENT_CONNECTIONS

1000

MAX_CONCURRENT_JOBS_EXECUTIONS x 2

Définition des variables utilisées dans le tableau ci-dessus

Variable Description

MAX_CONCURRENT_JOBS_EXECUTIONS

Nombre maximal attendu de Jobs exécutés simultanément pour le JobServer

MAX_CONCURRENT_LOGGED_USERS

Nombre maximal attendu d'utilisateurs connectés (Talend Administration Center + Studio) simultanément pour Talend Administration Center

MAX_CONCURRENT_PLAN_EXECUTIONS

Nombre maximal attendu d'exécutions simultanées de plans pour Talend Administration Center

MAX_CONCURRENT_TASK_EXECUTIONS

Nombre maximal attendu d'exécutions simultanées de tâches pour Talend Administration Center

Les paramètres suivants sont recommandés pour un environnement de référence :
  • "WEB-INF/classes/quartz.properties" :

    org.quartz.dataSource.QRTZ_DS.maxConnections = 1000

    org.quartz.threadPool.threadCount = 1000"

  • WEB-INF/classes/configuration.properties" :

    hibernate.c3p0.max_size=1000

  • "conf/TalendJobServer.properties" :

    org.talend.remote.server.MultiSocketServer.MAX_CONCURRENT_CONNECTIONS=2000