如何允许Google为我网站上需要登录的部分编制索引？

Question

似乎谷歌可以为某些网站或论坛编制索引（我不能指出任何自从我上次看到它以来的几个月），并且在访问时会提示您注册或登录。

如何让我的网站开放供Google索引并定期登录其他人？

Answer 1

Google支持flexible sampling的概念，您可以从Google搜索结果中向用户展示有限数量的内容，同时允许Googlebot抓取所有内容。

Google允许您向用户展示有限数量的文章（计量）或显示每篇文章的一部分（引入）。

从技术角度来看，您需要：

• 允许Googlebot按用户代理或验证Googlebot的IP地址访问您的所有内容。
• 使用结构化数据标记您的网页，表明他们有付费专区内容。
• 向从Google访问您网站的用户展示有限数量的内容。

这是Google旧版“首次点击免费”政策的替代版，根据该政策，每当有人通过Google搜索结果点击您的网站时，您都必须展示整页内容。

Answer 2

这令人不悦。

1. 如果Google看到这一点（谷歌“专家交换谷歌”），您的网页排名会受到影响。
2. 人们仍然可以使用Google缓存访问您的网站
3. 你必须考虑所有其他搜索引擎，因为你必须使用“浏览器嗅探”

你要做的就是嗅探Googlebot/2.1 (+http://www.google.com/bot.html) and Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) user-agents（至少），然后向客户提供不同的内容。

另一个选择是执行expersexchange所做的事情，并将所有信息深埋在页面上。这样你就有了自己的蛋糕，也吃了它：用户不会完全讨厌你，你的页面排名没有受到影响，你仍然歧视非注册用户为注册用户提供更好的体验。

Answer 3

这是你要问的吗？

Google Site Search可以索引受密码保护的网页吗？

如果是，那么here is the answer from Google

  

Google Site Search仅能够   提供页面的搜索结果   公开可用于抓取，而不是   需要密码的网站   信息。如果您有受保护的网站   内联网等内容   你需要索引和搜索   可能想要考虑谷歌之一   通用搜索选项。您可以   详细了解Google Mini和   Google Search Appliance here。

Answer 4

我们为谷歌和其他搜索引擎打开了一个后门。

我们有主要搜索引擎使用的白名单。如果我们看到请求来自其中一个IP，我们会绕过身份验证并显示该页面的缩写版本，以便Google可以为其编制索引，但并非所有信息都可从Google的缓存中获取。

我们尝试使用User-Agent，但发现有人滥用它。知识产权难以入侵。

Answer 5

为Google Indexing创建站点地图并将其上传到Google。请访问此链接：Inside Google Sitemaps: Using Sitemap Index Files