推奨される設定 - 7.2

Windows用のTalend Big Dataインストールガイド

EnrichVersion
7.2
EnrichProdName
Talend Big Data
EnrichPlatform
Talend Activity Monitoring Console
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend Data Preparation
Talend Data Stewardship
Talend Identity and Access Management
Talend Installer
Talend JobServer
Talend Log Server
Talend Runtime
Talend Studio
task
インストールとアップグレード

説明

ロケーション

設定プロパティ

デフォルト/最小値

推奨値

Quartz接続プールにあるデータベース接続数の最大値

Talend Administration Center設定ファイル

"WEB-INF/classes/quartz.properties" :

org.quartz.dataSource.QRTZ_DS.maxConnections

30

MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS

Schedulerが処理する最大同時ジョブ数

Talend Administration Center設定ファイル

"WEB-INF/classes/quartz.properties" :

org.quartz.threadPool.threadCount

30

MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS

(Quartzを除く)Talend Administration Centerの最大データベース接続数

Talend Administration Center設定ファイル

"WEB-INF/classes/configuration.properties" :

hibernate.c3p0.max_size

32

MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS + MAX_CONCURRENT_LOGGED_USERS

各リモートジョブチェック間の期間を定義

Talend Administration Centerデータベーステーブル 設定

scheduler.conf.taskStatusRefreshTime

1

MAX_CONCURRENT_TASK_EXECUTIONS / 500

起動時に最新の実行をチェックするスレッドプールのサイズを定義

Talend Administration Centerデータベーステーブル 設定

dashboard.conf.taskExecutionsHistory.threadPoolSize

10

( MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS ) / 25

起動時に全タスクをチェックするスレッドプールのサイズを定義

Talend Administration Centerデータベーステーブル 設定

scheduler.conf.simultaneousThreadsForStatusRefresh

5

MAX_CONCURRENT_TASK_EXECUTIONS / 50

データベースプロセスの最大オープンファイル数を定義

データベースサーバーのホスト

最大オープンファイル:

LinuxであればMysqlの設定プロパティで"open_files_limit"を設定し、システムファイルの制限が右の式で>=であることを確認します

(オペレーティングシステムによって異なる)

( MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS + MAX_CONCURRENT_LOGGED_USERS ) x 3

データベースに許可される最大接続数を定義

データベースサーバー

最大接続数:

たとえばMysql設定プロパティを"max_connections = 10000"に設定します

(データベースベンダーによって異なる)

( MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS + MAX_CONCURRENT_LOGGED_USERS ) x 3

JobServerによって受け入れられる同時接続の最大数を定義

JobServer設定ファイル

"conf/TalendJobServer.properties" :

org.talend.remote.server.MultiSocketServer.

MAX_CONCURRENT_CONNECTIONS

1000

MAX_CONCURRENT_JOBS_EXECUTIONS x 2

上のテーブルに使われている変数の定義

変数 説明

MAX_CONCURRENT_JOBS_EXECUTIONS

JobServer側での最大予想同時実行ジョブ数

MAX_CONCURRENT_LOGGED_USERS

Talend Administration Center側の同時ログインユーザー数 (Talend Administration Center + Studio)の最大予想数

MAX_CONCURRENT_PLAN_EXECUTIONS

Talend Administration Center側での最大予想同時プラン実行数

MAX_CONCURRENT_TASK_EXECUTIONS

Talend Administration Center側での最大予想同時タスク実行数

ベンチマーク環境では次の設定をお勧めします:
  • "WEB-INF/classes/quartz.properties" :

    org.quartz.dataSource.QRTZ_DS.maxConnections = 1000

    org.quartz.threadPool.threadCount = 1000"

  • WEB-INF/classes/configuration.properties" :

    hibernate.c3p0.max_size=1000

  • "conf/TalendJobServer.properties" :

    org.talend.remote.server.MultiSocketServer.MAX_CONCURRENT_CONNECTIONS=2000