如何找出哪个页面链接到损坏的URL?

时间:2012-10-16 12:18:53

标签: asp.net web-crawler broken-links

当用户代理未发送推荐人时,如何找出哪个页面链接到损坏的URL?

我每天在我的网站上收到此网址的100多个请求: /controls/WebService/WebService.asmx

...但实际的网址是: /WebService/WebService.asmx

我可以将URL重写一个到另一个,但我宁愿弄清楚“控件”引用的位置。我确实有一个名为that的文件夹,其中一些控件使用Web服务,但如果我查看源代码,从来没有提到“/ controls /”文件夹...通常,没有引用者出现在404的Elmah日志中,但即使它出现了,我也看不到页面上的问题作为URL到webservice页面是正确的。

我在网站上运行了三个不同的抓取工具,他们从未发现任何问题,因此我怀疑它是由具有解析(甚至执行)JavaScript等智能的东西引起的。 “controls”文件夹确实存在的事实让我觉得它可能在某处出现了真正的错误,而不仅仅是爬虫软件中的错误。

1 个答案:

答案 0 :(得分:0)

您可能在控件目录中有一个文件,该文件试图通过相对路径引用该Web服务。使用〜/ Webservice / Webservice.asmx(如果来自.net控件)或简单地使用/Webservice/Webservice.asmx