从外部数据库/网站刮取数据

时间:2016-01-13 21:51:16

标签: javascript web-scraping

通常,我可以从其他人的数据库或页面接收数据,还是基本上是偷窃?我正在寻找有关合法性和实施的信息。

例如,我想创建一个网站,同时搜索我所属的几个公共图书馆,并将图书的可用性汇总到一个表格中。

这是通过使用ajax请求每个整个书页并使用dom操作来提取可用性字段中的数字来完成的吗?

谢谢!

1 个答案:

答案 0 :(得分:0)

从法律上讲,我不是百分百肯定,我认为这是一个灰色区域。您必须阅读该网站的使用政策。

从技术上讲,是的,您可以使用原始HTTP请求或浏览器自动化请求页面,然后执行脚本来获取值。