移动代理和Web爬网程序之间的区别

时间:2011-01-10 05:46:25

标签: web-crawler user-agent agent distributed-system

有人可以告诉我移动代理和网络抓取工具之间的确切区别吗?

提前致谢。

3 个答案:

答案 0 :(得分:1)

虽然这个问题已经过时了,但我想澄清purushottam所说的内容。

移动代理是一个正在运行的程序(包括代码和数据) hops (迁移)从一台计算机到另一台计算机,代表某人执行任务并最终返回结果。例如,它们可能用于在组织内的计算机上安装和维护软件,或者比较来自多个供应商的产品价格 通过访问每个供应商的站点并执行一系列数据库操作。

移动代理是对资源的潜在安全威胁 他们访问的计算机。所以接收代理的环境应该决定 应该允许哪些本地资源使用,例如,基于代理人代表的用户的身份。此外,移动代理本身也很容易受到攻击,因为如果他们被拒绝访问他们需要的信息,他们可能无法完成任务。

另一方面,网络抓取工具不会从一台计算机跳到另一台计算机。相反,它悄悄地“浏览”(扫描)网络,“阅读”它找到的所有内容,并将所有已“读取”的内容编入索引,使其能够更快地响应搜索请求。

答案 1 :(得分:0)

移动代理是一种代理字符串类型,适用于移动设备

http://en.wikipedia.org/wiki/List_of_user_agents_for_mobile_phones

网页抓取工具是由搜索引擎等不同程序用于索引页面的机器人程序......

http://en.wikipedia.org/wiki/WebCrawler

与google的抓取工具之一一样,代理字符串为"DoCoMo/1.0/P502i/c10 (Google CHTML Proxy/1.0)" 属于"Google (216.239.39.x) proxy server "

以下是代理字符串的完整列表,包括Crawlers,Spiders ......

http://www.user-agents.org/

修改 正如你所要求的......

查看是否有人访问了您的网站并检查了他的用户代理。如果他正在使用Firefox,你会得到一个字符串,如果他使用像iPhone这样的移动设备,那么你就可以在移动设备上安装浏览器的用户代理。如果访问者是Crawler,那么你得到用户代理字符串为相同的......

答案 2 :(得分:0)

如果我没有错,移动代理 DONOT 必然意味着他们必须对移动设备做些什么。移动代理是一种特殊类型的代理代码,其设计方式使其具有移动性。

  1. 它们被称为 MOBILE ,不是因为它们适用于移动设备,而是因为代码是移动的,即代码具有从一个地方移动到另一个地方的能力。移动代理提供代码移动性。
  2. 举个例子,如果我编写一个搜索任何项目的代码(用这个例子将其与网络爬虫的东西进行比较),移动代理代码将从服务器端转移到各种要进行搜索的服务器,在他们一边处理搜索,然后返回结果。
  3. 但是,爬虫在您身边工作,其代码不会移动,而是您访问服务器端的数据。这是一个不同的范例。
  4. 我认为Shekhar已经为移动设备的用户代理提供了答案,这些移动设备技术上不是移动代理,而是移动代理。 您可以澄清here