如何让机器人抓取我的网站并为所有访问者关闭它？ 当访问者来自谷歌的任何网址时，他应该看到注册表格，谷歌机器人应该看到一切。 我可以这样做吗？
我找到了这个插件：http://wordpress.org/plugins/registered-users-only/
我现在可以通过robots.txt允许google bot吗？
答案 0 :(得分：0)
这违反了Google的服务条款，但您可以要求用户在访问您网站的第二页时进行注册。
您可以在此处详细了解First Click Free。
但是如果你真的想阻止人并允许机器人，你需要一个插件或一个自定义脚本来过滤用户代理。