从需要启用cookie的站点使用Python抓取HTML的最佳软件包

Question

我目前正在使用Python 3.6抓取网址文件并搜索某个字符串。运行脚本后，返回的HTML表明需要启用cookie。我找到的Mechanize和其他所有库都不支持任何版本的python 3.x.有人能指出我可以启用cookie的库的正确方向，以便呈现正确的HTML吗？

Answer 1

您可以使用真棒requests包检索和发送Cookie。

发送Cookie：

cookies = {
    cookies_are:'working'
    }

requests.get(url, cookies=cookies)

检索Cookie：

r = requests.get(url)
r.cookies #return a dictionary

更多信息请查看requests documentation。希望它有所帮助！