标签： python dns web-scraping scrapy
Scrapy建议在其网站上设置专用缓存DNS服务器以进行广泛爬网（从许多网站抓取数百万个网页）
因为我正在使用旋转ip / proxy - ＆gt;每个请求都通过不同的IP地址路由
我假设DNS查找也将通过不同的IP地址
设置专用的缓存DNS服务是否仍然有意义？