使用网站上的Python下载不同格式的所有文件

Question

如何使用python从网站下载.csv，.xlsx，.json格式的所有数据集。在找到之后，我需要将数千个文件下载到我的计算机上。能帮我自动完成这个过程吗？数据是按城市划分的，因此可以推广用于进一步的用途。 如何使用MECHANIZE？

Answer 1

我建议你使用selenium webdriver，这将是没有限制的网页抓取的最佳方式。但是你需要更具体地提出你的要求。如果只有一个网址可以下载链接，那很简单。但是，如果所有下载链接都在不同的网址中，我猜这需要一点时间。

import selenium
from selenium import webdriver

browser = webdriver.Firefox()
browser.get(website)
browser.find_element_by_name("file_name_to_download").click()

那就是它。当然，您需要创建一个简单的循环来逐个单击所有下载链接。