.htaccess / php redirect 301 302专门用于网络抓取工具

时间:2013-02-12 08:39:30

标签: php .htaccess redirect google-crawlers

是否只重定向来自webcrawler(主要是google)的流量,同时保持“正常”用户流量不变?

我的方案如下:

客户在域名(www.domain-1.com)上有一个网站(域名)。 该网站现已转移到第二个域名(www.domain-2.com)。

有没有办法告诉抓取工具SAME网站是从域-1移动到域-2而不忘记域-1现在有不同的内容? (从而以某种方式维护旧的域2索引链接和排名?)

通常,我知道在PHP中我会执行正常的永久重定向发送标题,如:

   header('Location: http://www.example.com/', true, 301);
    exit;

但在上述情况下,我不确定是否应该使用:

  • A。 302/302 /其他一些我不知道的
  • B .php / .htaccess

这甚至可能吗?

请提出任何建议会有很大帮助。

1 个答案:

答案 0 :(得分:1)

通常,向抓取工具展示与用户不同的内容是不好的做法。同时让谷歌索引两个不同域中的相同内容可能会损害页面搜索。

如果您确定将相同内容保存在不同的域中是一个好主意,请尝试使用cross-domain rel="canonical" link element标记从domain-1移至domain-2的内容,新内容没有标记。谷歌的抓取工具应该理解这些。


提炼评论讨论:

  1. 如果您移动您的网站(最终从旧网站删除内容) - 根据Moving your site指南行事,并使用301重定向,只要您可以从旧地方到新地点。 (您可以尝试adjusting the crawl rate更快地更新链接)
  2. 如果您的情况最终会在站点内或多个域上创建重复内容(旧网站也保留内容),请使用canonical rels
  3. 避免以与用户不同的方式威胁搜索机器人(在google's webmaster docs中称为“隐藏”),这会损害预期并可能会导致网页冲突。
相关问题