TokyoCabinet写速度太慢

时间:2013-04-18 00:04:26

标签: perl nosql key-value tokyo-cabinet tokyo-tyrant

我有一个 perl脚本(在Ubuntu 12.04 LTS中)写入26个TCH文件。密钥大致均匀分布。 300万次插入(均匀分配到所有文件)后写入变得非常慢,并且速度从开始 240,000次插入/ 下降到 14,000次插入/ 3 mm插入后的最小值。单独的分片文件不超过150 MB,整体大小约为2.7 GB。

每100K插入 bnum 后,在每个TCH文件上运行优化,其中 bnum 为4 * num_records_then且选项设置为 TLARGE 并确保xmsiz与bnum的大小相匹配(如Why does tokyo tyrant slow down exponentially even after adjusting bnum?中所述)

即便在此之后,刀片以高速开始,然后从240k刀片/分钟缓慢降至14k刀片/分钟。可能是因为在一个脚本中持有多个tch连接(26)?或者是配置设置,我缺少(会禁用日记帮助,但上面的线程说日记只会在tch文件大于3-4GB之后影响性能,我的分片是<150MB文件..)?

1 个答案:

答案 0 :(得分:0)

我会关闭日记功能并测量更改内容。 引用的帖子谈到了一个2-3 GB的tch文件,但是如果你总结26个tch文件的大小,你就属于同一个联盟。对于文件系统,写入的数据范围总量应该是相关参数。