使用[可能]多个文件扩展名阻止robots.txt中的文件

时间:2012-05-14 15:36:36

标签: robots.txt

这是正确的语法吗?

    Disallow: /file_name.*

如果没有,是否有办法在没有列出每个文件两次[多次]的情况下完成此操作?

1 个答案:

答案 0 :(得分:0)

好的,根据http://tool.motoricerca.info/robots-checker.phtml

  

此代码块所解决的(所有)用户代理不支持文件名中的“*”wildchar。您应该在专门针对支持wildchar的蜘蛛(例如Googlebot)的代码块中使用wildchar“*”。

所以,我只是使用:

    <meta name="robots" content="noindex,nofollow">

在我想阻止搜索引擎的每个页面中。

相关问题