Web scrape我需要登录的网站

时间:2014-10-04 16:01:10

标签: c# web-scraping htmlunit

我正在考虑使用一个控制台应用程序来抓取需要登录的网站。 我正在考虑使用htmlUnit(如果你知道更好的话,打开其他建议)将数据发布到网站。但那有什么安全问题吗? 发布身份验证是我正在考虑的问题。我不知道关于嗅闻的事情。但是,如果我的服务器上有任何嗅探,那些会看到我的身份验证吗?

刮掉之后保持登录是否更好?或者更方便的是退出并在x小时后登录再次刮刮?

这甚至是“问题”吗?我想让我的网站在与scrape服务相同的服务器上显示数据。所以也许有人开始查看我的网站,然后看看我的scrape请求。

0 个答案:

没有答案