网址和广告中的锚点标记搜索引擎，HOWTO？

Question

如何实现锚标记网址，以便搜索引擎抓取我的网页？这是来自twitter的一个例子：

在搜索结果中，它是：     http://twitter.com/username

当我点击它时，它会将我重定向到 http://twitter.com/#!/username

Twitter如何知道何时重定向？依靠用户代理似乎不是一个好主意。

Answer 1

Twitter没有针对SEO优化他们的网站。他们与谷歌有特殊协议，所以我不会以它们为例。 Google支持哈希网址，您可以在此处阅读https://developers.google.com/webmasters/ajax-crawling/docs/specification。

主要想法是，抓取工具http://www.example.org/#!/my-url等网址会转换为http://www.example.org/?_escaped_fragment_=/my-url。当Google遇到该网址时，它会向替代网址发出请求，并会使用该内容对其进行索引。