Googleboot继续抓取不存在的页面,而不是我的实际页面

时间:2019-06-09 16:29:12

标签: wordpress googlebot google-crawlers

六个月前,我开始建立自己的网站。

  • 自从我开始工作至今已有6个月。 Googlebot会继续抓取我网站上不存在的页面。 Googlebot随机生成这些链接。他们每天访问成百上千。
  • 我已经证实它是googlebot。
  • 从第一天开始,我为那些不存在的页面留了404标头。
  • 6个月后,事情没有改变。 Googlebot仍以相同的速度抓取不存在的随机生成的页面。

链接不存在页面的结构为mydomain / installa / {random-string}

示例:

mydomain / installa / jfjdk-uru-gy-kfjurru

mydomain / installa / jfj-uru-wed-iehf72

mydomain / installa / dsds-rw3-wwewed-2332jh

请注意,无论在后端文件夹还是网站URL中,我都不会在我的网站上使用/ installa /目录。

问题是当我在网站上发布实际帖子时。该帖子将永远被Googlebot发现而被索引。

如果我手动将帖子提交到Google控制台以获取索引,那是一个不同的主题,并且我的页面也被索引了。但是我怀疑我所有的问题都属于上述问题。

有人能帮助我或为发生的事情指明正确的方向吗?我的网站上是否存在可能触发/ installa /的错误消息?

有没有可以用来跟踪googlebot访问我网站的Wordpress插件?

请帮助我解决此问题,此问题目前正在影响我的网站排名。

谢谢

1 个答案:

答案 0 :(得分:0)

您可能想在这些页面上添加一个noindex标记。此外,将它们从您的站点地图中删除。

<meta name="googlebot" content="noindex">