GWT说robots.txt正在阻止资源 - 我或他们的资源?

时间:2015-04-20 21:48:27

标签: robots.txt google-webmaster-tools

在Google网站站长工具中,当我以谷歌的身份获取Google'它告诉我有两个被robots.txt阻止的被阻止的资源:

  • https://dash.reviews.co.uk/[cut]
  • https://googleads.g.doubleclick.net/[cut]

但我无法在robots.txt中看到这些内容是如何阻止的,其中包含以下内容:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /category/
Disallow: /tag/
Disallow: /tools/

任何线索?

1 个答案:

答案 0 :(得分:0)

您不必担心这些资源被阻止,因为这些资源位于您无法控制且被robots.txt文件阻止的域中。

Google网站管理员工具向您显示,对于您获取的网页,它无法查看所有相当常见的资源。谷歌和许多大型网站robots.txt的资源很多。 (DoubleClick是Google拥有的财产)

只要您在“获取并呈现”时可以看到整个内容,就可以保持良好状态。

相关问题