Question

我们可以使用robots.txt更改漫游器的抓取速度。但Googlebot并没有考虑robots.txt，所以我寻找另一种方法。

在我的网站中，我对一些页面的更改非常频繁，只需进行少量更改。一天说20-30个字符。但我不希望Googlebot经常重新索引它们。比如说，我希望每个月都有Googlebot索引它。是否有可能使用这样的元标记：

<META HTTP-EQUIV="expires" CONTENT="Wed, 26 Feb 1997 08:21:57 GMT">

Googlebot会忽略这个吗？或者你能推荐另一个解决方案？

Answer 1

您可以使用这些网址创建sitemap，并将<changefreq>元素设置为monthly。这些只是搜索引擎的提示，但它可能是你最好的选择。

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <url>
      <loc>http://www.example.com/latest-updates.html</loc>
      <changefreq>monthly</changefreq>
   </url>
</urlset>

Answer 2

我建议您生成XML Sitemap。

站点地图将允许您指定要传递给搜索引擎的参数，命名为您为页面提供的重要性（或权重）以及页面（通常）更新的速率。

这并不意味着搜索引擎只会坚持这一点。可能是您说该页面每年更新一次，并且它在当年被抓取3次，或者它被设置为每天，并且每月只会被抓取一次。

Google on SiteMaps

阻止Googlebot频繁重新索引某些页面

2 个答案: