如何自动导航到需要身份验证的网站?

时间:2010-04-08 08:27:05

标签: facebook automation scripting screen-scraping

这就是我想要实现的目标。我想编写一个脚本,将导航到一个网站,要求我作为我自己,Facebook,Live Spaces,Twitter或任何其他人进行身份验证,然后让该脚本在网站的其中一个页面上搜索某些信息

我在过去使用Windows.Forms WebBrowser控件做了类似的事情,这是一个完整的IE实现,可以通过代码控制并存储您在验证后获得的任何cookie,但它是修改非常不友好,我希望使用脚本语言,也许是Powershell或类似的东西。

网上有没有关于这个的好教程?

谢谢!

4 个答案:

答案 0 :(得分:1)

如果Python是您的首选,Mechanize + Twill + Beautiful Soup 也请查看SO screen-scraping标记。

答案 1 :(得分:0)

有很多选择。过去,我已使用Chickenfoot或使用Mechanize从控制台自动浏览经过身份验证的网站。

然后抓取网站并检查每个页面的HTML数据。

答案 2 :(得分:0)

您可以使用IRobotSoft网络抓取工具。它自动化用于Web数据挖掘的IE WebBrowser控件。有关典型问题,请在此处查看他们的论坛http://www.irobotsoft.org/bb/

答案 3 :(得分:0)

我创建了一个新的PowerShell模块,目前在Technology Preview中。试试http://facebookpsmodule.codeplex.com,让我知道这对你有用!