python请求重定向到另一个URL

时间:2016-05-16 23:48:37

标签: python parsing redirect python-requests

我对编程很新,我正在尝试为电视剧列表网站制作解析“僵尸”,但是第一部分遇到问题 - 获得正确的页面来源。 更具体地说,我正在尝试从“www.lostfilm.tv/browse.php?cat=145”获取剧集列表,但使用此代码:

import requests
lf_game_url = 'http://www.lostfilm.tv/browse.php?cat=145'
lf_game_source = requests.get(lf_game_url, allow_redirects=False).text

我得到另一个页面来源(“www.yandex.ru”)和

request = requests.get(lf_game_url, allow_redirects=False)
print request.status_code

是301,虽然任何浏览器都能正常工作! 也许我错过了一些东西,比如我需要传递给请求的HTML标题,但是我被困住了,非常感谢任何帮助。

1 个答案:

答案 0 :(得分:1)

找到解决方案,非常简单。只需在请求中添加一个假的“User-Agent”标题,例如:

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
...
request = requests.get(lf_game_url, allow_redirects=False, headers=headers)