Web Crawler随着时间的推移变得越来越慢

时间:2014-08-12 02:49:39

标签: python-2.7 facebook-graph-api selenium-webdriver phantomjs facebook-sdk-3.0

我正在做一个数据提取项目,我需要使用pylen使用selenium和phantomjs无头webkit编写一个web抓取程序作为浏览器来搜索facebook中的朋友列表等公共信息。程序启动相当快但不过一天运行它越来越慢,我无法弄清楚为什么?任何人都可以告诉我为什么它变慢?我在一台本地机器上运行,它有4gb ram和四核处理器的相当好的规格。 FB是否提供任何API来寻找朋友的朋友?

1 个答案:

答案 0 :(得分:0)

我们遇到了同样的问题。我们通过在特定时间间隔后自动关闭浏览器来解决此问清除临时缓存并打开新的浏览器实例并继续该过程。

相关问题