Robot.txt禁止页面但不是以

Question

我想禁止特定页面

  

example.com/10

但不是以/ 10

开头的其他页面

  

example.com/101

     

example.com/102

     

example.com/103

怎么做？

Answer 1

您可以使用Allow关键字来实现它：

User-agent: *
Allow: /10*
Disallow: /10$

http://tools.seobook.com/robots-txt/analyzer/的结果：

Url: /10
Multiple robot rules found 
Robots disallowed: All robots

Url: /101
Robots allowed: All robots

Url: /102
Robots allowed: All robots

Url: /103
Robots allowed: All robots

但是，较旧的机器人可能会正确解释它。例如，只读第一行。