改进从暂存区加载数据时的性能 - 7.1

Talend Data Fabric 安装指南 (Windows)

EnrichVersion
7.1
EnrichProdName
Talend Data Fabric
task
数据治理
EnrichPlatform
Talend Activity Monitoring Console
Talend Administration Center
Talend Artifact Repository
Talend CommandLine
Talend Data Preparation
Talend Data Stewardship
Talend DQ Portal
Talend ESB
Talend Identity and Access Management
Talend Installer
Talend JobServer
Talend Log Server
Talend MDM Server
Talend MDM Web UI
Talend Repository Manager
Talend Runtime
Talend SAP RFC Server
Talend Studio
存储在 <$INSTALLDIR>\conf 目录中的 mdm.conf 文件包括几个属性,可编辑它们以改进性能。

属性

类型

描述

staging.validation.updatereport

boolean

运行从暂存区加载数据到 Talend MDM 的验证进程时,该进程默认会生成更新报告,这些报告会在日志中记录插入操作并触发任何相关的触发器。

为指示 MDM 服务器不要在从暂存区加载数据时生成更新报告,请将此属性设置为 false。

staging.validation.pool

int

默认情况下,MDM 服务器为从暂存区加载数据到 Talend MDM 的验证进程分配两个线程。

如果运行 MDM 服务器的计算机有一些空闲 CPU 资源,可以编辑此属性的值来增加可使用的线程数量。

staging.validation.commit

int

默认情况下,从暂存区加载数据到 Talend MDM 时,Talend MDM 每隔 1000 个已验证的对象向主数据库提交一次记录。

为改进性能,可以增加此值以减少向数据库提交的次数。

staging.validation.buffer.threshold

int

缓冲区用于将记录从暂存区传输到主数据库。默认情况下,缓冲区最多包含 1000 个记录;达到此阈值后,从暂存区读取数据的操作就会暂停,并每秒执行一次检查以确定缓冲区的记录数是否减少。

由于从暂存区读取始终要比写入主数据库更快,如果遇到内存问题,可以减小缓冲区大小的值。