机器人和301重定向

Question

我在6个多月前更改了网站网址的结构。我检测到遗留URL的使用，并使用301状态代码重定向到新URL。我使用flidder验证了请求时正确返回了状态代码。但机器人（雅虎啜食，谷歌机器人等）仍在使用旧的URL。有什么我想念的吗？

Answer 1

不，只需要非常长的时间让抓取工具获取消息。我有机器人爬行自2005年以来就不存在的地址 - 当民间竖起地址是永久性的，它们确实是。

此外，根据您网址的结构，您可以使用robots.txt禁止旧地址

Answer 2

试试这个，这只会重定向到机器人。

if (preg_match("#(google|slurp@inktomi|yahoo! slurp|msnbot)#si", $_SERVER['HTTP_USER_AGENT'])) {
    header("HTTP/1.1 301 Moved Permanently");
    header("Location: http://www.your-main-site.com/");
    exit;
}

Answer 3

如果外部网站已链接到您的旧网页，并且机器人仍然可以访问这些链接，则机器人会继续访问并尝试访问该内容。

Answer 4

在此提到您的网站地址：

http://www.your-main-site.com/

多数民众赞成我们用来转移域名，有时甚至是blackhat seo。