Nutch selenium firefox问题:45000 ms后无法连接到端口7055上的主机127.0.0.1

时间:2017-05-04 14:43:20

标签: selenium firefox selenium-webdriver web-crawler nutch

我正在尝试使用Nutch Selenium和Firefox设置无头爬虫。 我有xvfb运行和显示集。如果我使用带有更改的conf / nutch-site.xml仅使用protocol-selenium,并且如果种子列表包含多个url,则提取错误会出现以下错误之一:

org.openqa.selenium.firefox.NotConnectedException: Unable to connect to host 127.0.0.1 on port 7055 after 45000 ms.

java.lang.RuntimeException: org.openqa.selenium.WebDriverException: Failed to connect to binary FirefoxBinary(/usr/bin/firefox) on port 7055

java.lang.RuntimeException: org.openqa.selenium.remote.UnreachableBrowserException: Error communicating with the remote browser. It may have died.

firefox selenium nutch GLib-CRITICAL **: g_slice_set_config: assertion `sys_page_size == 0' failed

但是,如果种子列表中只有1个网址,则提取程序成功。

现在,如果我将conf / nutch-site.xml - fetcher.threads.per.queue更改为1,并且种子列表中有多个url,则fetcher会运行其中几个url,但是有些上述错误。

这种行为似乎是随机的,但我很确定有些东西我看不对。

我在亚马逊AMI Linux上,Nutch 1.13,它有Selenium 2.48.2和Firefox 31.4.0 尝试用FF(40.0.0,35.0,但情况相同)

我能够看到所有问题,但没有找到可靠的答案。我很感激任何帮助或建议。

谢谢!

0 个答案:

没有答案
相关问题