网站可以阻止程序自动下载文件吗？

Question

我正在用python编写一个程序，它将每天从网站上自动下载一次pdf文件。 在尝试测试时，我注意到下载的文件具有正确的扩展名，但与手动下载时的正常大小约100kB相比，它们非常小（<1kB）。

网站是否可以阻止程序自动下载文件？

有什么可以做的吗？

Answer 1

是。 Cloudflare可以阻止机器人下载文件。阻止通常通过检测用户代理或在网页中包含javascript来完成。我会检查记事本中的pdf文件并查看其中包含的内容，并尝试在python代码中添加用户代理选项。