为什么Facebook不正确地解析Twitter网址?

时间:2010-12-03 14:12:15

标签: ajax facebook url twitter web-crawler

我在摸不着头脑

拿一个(新)推特网址,例如。 [http://twitter.com/#!/NASA](注意“#!”)

将此链接粘贴到您的Facebook墙上或“您有什么想法?”主Facebook页面上的输入框。

抓取链接后,查看此解析链接的链接。这不是正确的推特网址。昨晚它解决了[http://twitter.com/#!/d3nidhint]现在它正在解决[http://twitter.com/#!/_hKnbln](前者解析为推特页面,后者确实不)。是什么给了什么?

Facebook明确解析这个网址并将其解析为不同的东西。如果它可以做到这一点,它应该将网址解析为正确的推特页面。我在网上搜索并想出了建议抓取这些AJAX网址的谷歌链接,但没有任何与这个奇怪的异常有关:[http://code.google.com/web/ajaxcrawling/]和[http:// googlewebmastercentral。 blogspot.com/2009/10/proposal-for-making-ajax-crawlable.html]

思想?

1 个答案:

答案 0 :(得分:0)

之所以发生这种情况,是因为Twitter将他们的固定链接(例如http:// twitter.com/RWW)更改为http:// twitter.com/#!/RWW,而Facebook爬虫则认为它只是更新了同一页http:// twitter.com/所以你得到最后缓存的内容。他们需要更新他们的抓取工具来取代#!出。如果这是所有进行ajax导航的人的标准做法,那将是很棒的。

ps - 添加空间,因为堆栈溢出认为我的所有链接都是垃圾邮件 - LOL