Question

我的python脚本迭代数据集所花费的时间有问题。数据集大约是40k文档。这足以导致pymongo游标发出多个内部抽取并从开发人员抽象出来的抽取。我尽可能地简化了我的脚本以证明问题：

from pymongo import Connection
import time

def main():
    starttime = time.time()
    cursor = db.survey_answers.find()
    counter=0;
    lastsecond=-1;
    for entry in cursor:
        if int(time.time()-starttime)!=lastsecond:
            print "loop number:", counter, "   seconds:",int(time.time()-starttime);
            lastsecond= int(time.time()-starttime)
        counter+=1;
    print (time.time()-starttime), "seconds for the mongo query to get rows:",counter;

connection = Connection(APPSERVER)#either localhost or hostname depending on test
db = connection.beacon

if __name__ == "__main__":
    main()

我的设置如下。我有4个单独的主机，一个运行mongos的APPSERVER和另外3个分片主机，每个主机都是主副本集，另外两个是副本副本集。

我可以从其中一个分片服务器运行它（连接指向APPSERVER主机名），然后我得到：

loop number: 0    seconds: 0
loop number: 101    seconds: 2
loop number: 7343    seconds: 5
loop number: 14666    seconds: 8
loop number: 21810    seconds: 10
loop number: 28985    seconds: 13
loop number: 36078    seconds: 15
16.0257680416 seconds for the mongo query to get rows: 41541

所以很明显这里发生了什么，游标请求的第一个批量大小是100，然后每个后续的一个是4m的数据，这对我来说似乎只有7k多个文档。每次获取费用 2-3秒!!!!

我认为我可以通过将我的应用程序移近mongos实例来解决这个问题。我在APPSERVER上运行上面的代码（连接指向localhost）希望减少网络使用量......但是更糟糕！

loop number: 0    seconds: 0
loop number: 101    seconds: 9
loop number: 7343    seconds: 19
loop number: 14666    seconds: 28
loop number: 21810    seconds: 38
loop number: 28985    seconds: 47
loop number: 36078    seconds: 53
53.5974030495 seconds for the mongo query to get rows: 41541

两个测试中的游标大小完全相同，这很不错，但每个游标的获取成本 9-10秒!!!

我知道我有四个需要通信的独立主机，所以这不可能是即时的。但我需要迭代可能有10万条记录的集合。每7k 2秒，这需要只需要一个小时！我不能拥有这个！

是的，我是python / mongo世界的新手，我已经习惯了php和mysql，我希望在不到一秒的时间内处理它：

$q=mysql_query("select * from big_table");//let's say 10m rows here ....
$c=0;
while($r=mysql_fetch_rows($q))
    $c++;
echo $c." rows examined";

有人可以解释我提出的pymongo（~1小时）和php / mysql（<1秒）方法之间的巨大差异吗？谢谢！

Answer 1

我能够在A. Jesse Jiryu Davis的帮助下解决这个问题。事实证明我没有安装C扩展。我想在没有分片的情况下运行另一个测试，因此我可以排除网络延迟问题。我有一个干净的主机，设置mongo，导入我的数据，并运行我的脚本，花了相同的时间。所以我知道分片/副本集与问题没有任何关系。

在修复之前，我能够打印：

pymongo.has_c(): False
pymongo version 2.3

然后我按照instructions安装c扩展的依赖项：

yum install gcc python-devel

然后我重新安装了pymongo驱动程序：

git clone git://github.com/mongodb/mongo-python-driver.git pymongo
cd pymongo/
python setup.py install

我重新编写了我的脚本，现在打印出来了：

pymongo.has_c(): True
pymongo version 2.3+

与上面的16相比，运行大约需要1.8秒。这仍然需要很长时间才能获取40k记录并对其进行迭代，但这是一项重大改进。

我现在将在我的prod（分片，副本集）环境中运行这些更新，希望看到相同的结果。

的的 **更新* * 我在我的prod环境中更新了我的pymongo驱动程序并且有了改进，但没有那么多。几次测试花了大约2.5-3.5秒。我认为分片性质是这里的错。迭代超过40k的记录似乎仍然非常缓慢。

pymongo游标getMore需要很长时间

1 个答案: