如何允许Google为我网站上需要登录的部分编制索引?

时间:2009-09-05 02:12:48

标签: seo web-crawler

似乎谷歌可以为某些网站或论坛编制索引(我不能指出任何自从我上次看到它以来的几个月),并且在访问时会提示您注册或登录。

如何让我的网站开放供Google索引并定期登录其他人?

5 个答案:

答案 0 :(得分:16)

Google支持flexible sampling的概念,您可以从Google搜索结果中向用户展示有限数量的内容,同时允许Googlebot抓取所有内容。

Google允许您向用户展示有限数量的文章(计量)或显示每篇文章的一部分(引入)。

从技术角度来看,您需要:

  • 允许Googlebot按用户代理或验证Googlebot的IP地址访问您的所有内容。
  • 使用结构化数据标记您的网页,表明他们有付费专区内容。
  • 向从Google访问您网站的用户展示有限数量的内容。

这是Google旧版“首次点击免费”政策的替代版,根据该政策,每当有人通过Google搜索结果点击您的网站时,您都必须展示整页内容。

答案 1 :(得分:7)

这令人不悦。

  1. 如果Google看到这一点(谷歌“专家交换谷歌”),您的网页排名会受到影响。
  2. 人们仍然可以使用Google缓存访问您的网站
  3. 你必须考虑所有其他搜索引擎,因为你必须使用“浏览器嗅探”
  4. 你要做的就是嗅探Googlebot/2.1 (+http://www.google.com/bot.html) and Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) user-agents(至少),然后向客户提供不同的内容。

    另一个选择是执行expersexchange所做的事情,并将所有信息深埋在页面上。这样你就有了自己的蛋糕,也吃了它:用户不会完全讨厌你,你的页面排名没有受到影响,你仍然歧视非注册用户为注册用户提供更好的体验。

答案 2 :(得分:3)

这是你要问的吗?

Google Site Search可以索引受密码保护的网页吗?

如果是,那么here is the answer from Google

  

Google Site Search仅能够   提供页面的搜索结果   公开可用于抓取,而不是   需要密码的网站   信息。如果您有受保护的网站   内联网等内容   你需要索引和搜索   可能想要考虑谷歌之一   通用搜索选项。您可以   详细了解Google Mini和   Google Search Appliance here

答案 3 :(得分:3)

我们为谷歌和其他搜索引擎打开了一个后门。

我们有主要搜索引擎使用的白名单。如果我们看到请求来自其中一个IP,我们会绕过身份验证并显示该页面的缩写版本,以便Google可以为其编制索引,但并非所有信息都可从Google的缓存中获取。

我们尝试使用User-Agent,但发现有人滥用它。知识产权难以入侵。

答案 4 :(得分:0)

为Google Indexing创建站点地图并将其上传到Google。请访问此链接:Inside Google Sitemaps: Using Sitemap Index Files