我如何禁止robots.txt中的所有动态网页？
E.g。
page.php?hello=there
page.php?hello=everyone
page.php?thank=you
我想要page.php并禁止所有可能的动态版本。
目前我有
User-Agent: *
Disallow: /page.php
但这仍然允许，例如page.php文件？你好=有
由于
答案 0 :(得分：0)
您已经获得的内容应该阻止对所有尊重robots.txt的搜索引擎的所有访问/page.php（无论是否提供任何查询字符串参数）
不要忘记robots.txt仅适用于机器人:-)如果您试图阻止用户访问您需要使用的页面.htaccess或类似的