我在网站上经常收到以下错误：
＆＃34;这是一个无效的脚本资源请求。＆＃34;
当蜘蛛试图抓取 /ScriptResource.axd 或 /WebResource.axd 时会发生错误。
在robots.txt中禁止这些文件正常工作（正如TheLukeMcCarthy建议的here）。
用户代理：*
禁止：/WebSite/ScriptResource.axd
不允许： /WebSite/WebResource.axd
对于像Websense这样（粗鲁地）忽略robots.txt的服务，这不起作用。
知道如何阻止Websense尝试抓取这些文件吗？
这些网站使用ASP.NET和HTML5开发，并托管在IIS7上。
提前致谢！
答案 0 :(得分：0)
我们得到了类似的东西。我唯一的想法是在IIS中转换IP地址限制，然后阻止他们的IP。 （我没有亲自这样做，所以这只是一个想法。）