我已经接管了一个网站的管理工作，该网站有数百个页面在网站地图中不再有效，但会被Google编入索引。其中许多导致我们不再提供的产品和服务。这对我来说通常不会太麻烦，但是这些页面上有很多问题影响了我们的搜索引擎优化，而我宁愿只关注应该是直播的页面而不是在没有页面上执行搜索引擎优化的页面。一个是要看的。虽然我可以通过并删除这些，但这让我很紧张。我更喜欢记录所有以前的页面，最好是在它们存在的目录中。有没有办法让Google只有索引页面作为当前活动站点地图结构的一部分，而不必一个一个地从整个站点的各个目录中删除它们？
任何指针都会非常感激！
答案 0 :(得分：0)
显然，排除Google中用于编入索引的内容的最佳方法是在您的webroot目录中包含robots.txt文件，例如
User-agent: *
Disallow: /section-noindex
Disallow: /url-no-index.html
其他方法是避免要编入索引的内容是在html estructure上添加下一个元标记，在head标记中
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">