PhantomJS的内存使用量超过1GB,加载了50MB的json

时间:2017-06-13 11:32:56

标签: python web-scraping phantomjs

我试图在Windows 10上使用PhanotomJS和python从网页下载~55MB的json数据。

PhantomJS进程因内存耗尽而死亡#34;达到1GB的内存使用量。

通过输入用户名和密码然后使用

来加载
myData = driver.page_source

在一个页面上,该页面只包含一个简单的标题和构成json数据的55MB文本。

即使我没有要求PhantomJS对它做任何事情,它也会消失,只是得到消息来源。

如果我在Chrome中加载页面,则加载大约需要一分钟,并将其列为已加载54MB,与预期完全相同。

phantomJS进程需要大约1GB的RAM使用时间并且死亡。

这种情况过去很好,直到最近才下载的数据超过50MB。

有没有办法将数据直接从PhantomJS流式传输到文件中,或者只是某种设置使其不会爆炸到必要的RAM使用量的20倍? (这台计算机有16GB的内存,1GB的限制显然是PhantomJS中的一个问题,他们无法修复)。

是否有另一种同样简单的方式来输入用户名和密码并获取一些没有这个缺陷的数据? (并且在工作时不会弹出浏览器窗口)

0 个答案:

没有答案