尝试将数据库复制到新数据库时减慢速度

时间:2018-03-23 16:06:03

标签: nosql couchdb couchdb-python

我正在尝试将所有文​​档从我的大型couchdb数据库中转移出来,并且在启动后不久出现严重减速。用于获取文档的请求是:

url = 'http://<ip>:5984/marketwatch_weekly/_all_docs?include_docs=true&limit=4000&skip=%s' % skip

减速打印出现在下方。最右边的列是请求完成的时间(以秒为单位)。该旁边的列是跳过量。

getting 2018-03-22 20:53:31.523599 16833 364000  89.11844325065613
getting 2018-03-22 20:55:02.698881 17478 368000  89.88783812522888
getting 2018-03-22 20:56:33.738854 19864 372000  90.0836386680603
getting 2018-03-22 20:57:56.869204 21151 376000  82.24904656410217
getting 2018-03-22 20:59:09.616417 23135 380000  72.10899209976196
getting 2018-03-22 21:00:18.940941 24875 384000  68.40224647521973
getting 2018-03-22 21:01:41.423078 25589 388000  81.92294359207153
getting 2018-03-22 21:11:47.979055 6395 392000  605.9177582263947
getting 2018-03-22 21:31:37.420515 1425 396000  1188.589150428772
getting 2018-03-22 21:46:11.717596 0 400000  873.0646567344666
getting 2018-03-22 22:02:38.413917 0 404000  985.686975479126
getting 2018-03-22 22:20:19.832703 0 408000  1060.2585520744324
getting 2018-03-22 22:39:29.712637 0 412000  1148.8915960788727
getting 2018-03-22 22:59:27.880014 0 416000  1197.4601407051086
getting 2018-03-22 23:21:09.851654 0 420000  1300.9372861385345
getting 2018-03-22 23:45:07.953314 0 424000  1436.5531301498413

想知道可能导致此问题的原因以及任何纠正此问题的提示?我应该将include_docs设置为false并请求每个doc我的_id吗?

我正在使用自己的数据传输脚本,因为我也在更改数据库的模式,因此我无法真正使用任何类型的复制工具。

谢谢!

2 个答案:

答案 0 :(得分:0)

couchdb压缩似乎已经成功了

答案 1 :(得分:0)

我遇到此问题的一个原因是在设计文档中使用validate_doc_update。只要将具有验证功能的设计文档添加到目标数据库,每个文档都将通过此函数传递,这会大大减慢复制速度。

相关问题