我如何登录网站并在python中执行操作

Question

我已阅读此问题，但我使用了不同的内容How can I log into a website using python?

我正在使用Scrapy进行网页抓取，我不想使用Mechanize。

我想要做的是使用python登录我的网站，然后我必须使用数据库中的数据提交表单。

提供所有数据均有效。我怎么能用scrapy做到这一点。或者我还需要使用任何其他库？

Answer 1

在开始抓取之前登录网站的scrapy文档中有an example。

Answer 2

您可以将带有用户数据的请求发送到auth控制器。例如，您的站点从站点上的表单获取POST请求。所以你可以直接发送POST请求。

Answer 3

在此处查看类似的问题：How to use Python to login to a webpage and retrieve cookies for later usage?

查看网址：http://docs.python.org/2/library/urllib.html

这应该回答你的问题，但请记住，你必须满足认证位才能登录某个网站。我建议查看与此相关的OpenID和python库。

Answer 4

你可以使用像requests这样的python库，或者你可以简单地使用urllib2，cookielib here是一个参考

在这种情况下，您可以编写一个处理登录的方法，在提交表单之前，您可以使用django ORM加载数据，然后提交表单。