WordPress如何阻止搜索引擎?

时间:2010-03-15 13:27:46

标签: php wordpress search search-engine

如果您转到wordpress 管理员然后设置 - >隐私,有两个选项可以询问您是否允许通过搜索来搜索您的博客引擎和这个选项:

  

我想阻止搜索引擎,   但允许普通访客

当网站上线时,wordpress如何阻止搜索机器人/抓取工具搜索此网站?

5 个答案:

答案 0 :(得分:8)

根据codex,只有robots元标记,robots.txt和抑制pingback:

  

导致{1}}生成到您网站来源的部分(如果使用了wp_head),导致搜索引擎蜘蛛忽略您的网站。

     

导致robots.txt发送回命令:

     

<meta name='robots' content='noindex,nofollow' />

     

User-agent: *

     

注意:以上仅适用于在网站根目录中安装WordPress且不存在robots.txt的情况。

这些是所有友好机器人将遵循的“指南”。搜索垃圾邮件的电子邮件地址或表单的恶意蜘蛛不会受这些设置的影响。

答案 1 :(得分:3)

使用robots.txt(如果以root身份安装)

 User-agent: *
 Disallow: /

或(来自here

  

我想阻止搜索引擎,但允许普通访问者 -   检查这些结果:

     
      
  • 导致"<meta name='robots' content='noindex,nofollow' />"   成为   生成了   您的部分(如果使用wp_head)   网站的来源,导致搜索引擎   蜘蛛无视你的网站。           *导致robots.txt发送回命令:

        User-agent: * 
        Disallow: / 
    
         

    注意:以上仅适用于在网站根目录中安装WordPress且不存在robots.txt的情况。

  •   
  • 停止ping ping-o-matic以及Update中指定的任何其他RPC ping服务   行政服务&gt;设置&gt;写作。这可以通过删除函数privacy_ping_filter()来实现   要从列表中ping的站点。这个   通过拥有过滤器   的add_filter( 'option_ping_sites', 'privacy_ping_filter');   在默认过滤器中。当。。。的时候   generic_ping函数试图获取   “ping_sites”选项,此过滤器   阻止它返回任何东西。

  •   
  • 完全隐藏更新服务选项   <给药>设置&gt;写作   面板上显示消息“WordPress是   没有通知任何更新服务   因为你的博客的隐私   设置“。

  •   

答案 2 :(得分:2)

您实际上无法阻止机器人和抓取工具搜索公共网站;如果有浏览器的人可以看到它,那么机器人或爬虫可以看到它(请注意下面的内容)。

但是,有一些东西称为机器人排除标准(或robots.txt标准),它允许您向表现良好的机器人和抓取工具表明他们不应将您的网站编入索引。 This site以及Wikipedia提供了更多信息。

上述评论的警告,你在浏览器上看到的,机器人可以看到,这是:大多数简单机器人不包含Javascript引擎,因此浏览器因Javascript代码而呈现的任何内容都可能<强大的>不被机器人看到。我建议您不要将此作为避免索引的方法,因为robots.txt标准不依赖于Javascript的存在来确保正确呈现您的页面。

最后评论:机器人可以自由地忽略这个标准。那些机器人表现得很糟糕。最重要的是,任何可以读取HTML的东西都可以随意使用它。

答案 3 :(得分:1)

我不确定,但它可能会生成一个robots.txt文件,该文件指定了搜索引擎的规则。

答案 4 :(得分:1)

使用Robots Exclusion文件。

示例:

User-agent: Google-Bot
Disallow: /private/