如何将程序连接到(学校)网站以提取数据

时间:2012-06-14 23:47:37

标签: information-extraction

这是由为大学创建的程序提出的,它提取了可用课程,代码,教师,时间,地点的完整列表。

要访问此信息,我需要登录我所在大学的安全网站并搜索各个班级。程序(我已经看过iphone应用程序等),你在哪里搜索一所大学,一个班级,它显示当前和更新的班级名单。

程序如何在没有API的情况下访问此数据,或登录凭据以提取可用的课程数据。

1 个答案:

答案 0 :(得分:1)

假设大学没有某种API,这些应用程序可能只是从屏幕上抓取html数据并将相关部分拉出来以便在他们的应用中使用。这可以工作,但是工作总是很麻烦,因为网站经常会改变他们的HTML结构,这需要你重写你的屏幕刮刀来补偿。

请注意,某些大学数据的使用可能会受到联邦FERPA法律的限制。由于大学没有某种公共API来获取这些数据,因此最好与他们核实他们如何从您的网站中提取数据以便在您的应用中使用。当他们发现你的应用程序从他们的安全网站抓取数据时,这将避免重大问题。