我需要每隔5分钟抓一次网页列表10次。 这是为了收集URL以供以后抓取。另一种看待它的方法是
url_list = []
for i in 1:10 {
url_list += scrape request
url_list += scrape request
url_list += scrape request
sleep 5 min
}
for site in url_list
scrape site
如何在集合之间添加延迟，但是在抓取请求之间没有延迟？
我怎样才能做到这一点？
由于
答案 0 :(得分：0)
您可以使用DOWNLOAD_DELAY项目设置或download_delay蜘蛛类属性，以及以秒为单位的所需延迟数。