搜索引擎未编入索引的子文件夹

时间:2014-09-25 14:31:34

标签: php html5 wordpress web search-engine

今年年初我注册了一个域名并安装了Joomla和Wordpress来尝试不同的主题和功能。 不到几天后,主域名和子文件夹被谷歌索引如下:

  • www.example.com(Wordpress安装在public_html文件夹中)
  • www.emample.com/portal(Joomla安装文件)

大约两周前,我清理了所有内容并执行了以下操作:

  • 创建了一个简单的HTML5文档(index.html)并放在public_html文件夹中
  • 创建了一个名为“wiki”的sob文件夹(Dokuwiki安装文件)www.emample.com/wiki
  • 创建了一个名为“blog”的sob文件夹(Wordpress安装文件)www.emample.com/blog

从那以后,只有主页index.html被谷歌索引,即使它有“wiki”和“blog”的链接。 Wordpress和Dokuwiki都有友好的URL(感谢.httacess)

如何让我的子文件夹被Google编入索引?注意:我没有子域名。

更新1:

网站:http://goo.gl/vVvyr9

1 个答案:

答案 0 :(得分:1)

我列出了一些与您的问题相关的主题:

<强>的robots.txt

此文件指示搜索引擎抓取工具不应索引哪些文件夹或文件。因此,请确保此处未列出您的子文件夹。有关以下内容的更多信息:http://www.robotstxt.org/

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

nofollow&amp; NOINDEX

NoFollow属性可以列在页眉或链接本身中。它告诉搜索引擎爬虫,某些链接或整个页面不应该是索引。

<html>
<head>
<title>...</title>
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
</head>

更多信息:http://www.robotstxt.org/meta.html

<a href="signin.php" rel="nofollow">sign in</a>

更多信息:https://support.google.com/webmasters/answer/96569?hl=en

<强>站点地图

Sitemaps是包含指向您所有网页的位置链接的文件,使搜索引擎更容易为其编制索引。考虑在Google Webmaster Tools中提交站点地图。

内容:

Google为内容和网站管理员提供了一些很棒的guidelines,确保您尽可能符合要求,以最大限度地提高搜索的可见度。