抓取Intranet凭据问题

时间:2014-04-02 08:26:06

标签: search web-crawler open-search-server

我一直在尝试抓取内部网和互联网并将其编入索引。但它根本不起作用,我认为这是由于代理/安全限制。我将索引解析为true,但内容长度为-1,因此它不会抓取任何内容。无论如何,我可以把我在内联网上的凭证在开放式搜索服务器中抓取它,知道它只有基本/摘要或NTLM身份验证吗?

无论如何在oss上配置代理不仅仅是在爬虫选项卡中的代理? 我已经设置了凭据,但似乎oss不会识别公司的代理,因此它不会给我输入凭据的框。

1 个答案:

答案 0 :(得分:0)

从1.5.4版开始,OpenSearchServer支持在代理上进行身份验证。

这是GITHub问题: https://github.com/jaeksoft/opensearchserver/issues/589

目前,v1.5.4仅适用于夜间构建。

enter image description here