我有大量的网址,每个网址都指向一个包含.csv文件的可下载的tar.gz文件。
如果我手动将任何地址放入Firefox,弹出窗口会立即显示询问我是要保存还是直接打开文件 - 两者都可以正常工作。
如果我将请求简单地用作:
r = requests.get(url)
print(r.content)
打印以下内容:
b'<?xml version="1.0" encoding="UTF-8"?>\n<Error><Code>AccessDenied</Code><Message>Access Denied</Message><RequestId>5F59....
是否可以使用Python自动下载所有这些文件,因为它可以在没有任何授权的情况下手动完成?
修改
headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0'}
r = requests.get(url, headers=headers)
print(r)
输出:
<Response [403]>
编辑2:
我也可以从终端下载wget
的文件,但是
urllib.error.HTTPError: HTTP Error 403: Forbidden
使用patch。