标签： java
我刚发现一个网站显示谷歌机器人的标题， 当humnan访问页面时显示另一个标题， www.travelprofessor.com/ 站点并访问真实页面，你会发现差异。
答案 0 :(得分：1)
Google“机器人”使用特定的用户代理：
https://support.google.com/webmasters/answer/1061943?hl=en
作为旁注，这可能是服务器端检查的，因为抓取工具没有Javascript ...