Scrapy - 包含方括号的star_urls

时间:2014-06-18 20:51:00

标签: python url scrapy brackets

我正在尝试抓取网站,而star_urls包含方括号(?sec[3]=3)

当我尝试运行蜘蛛时,会发生的情况是括号被%5B%5D替换。

我尝试使用ulrlib.unquote(url),但问题仍然存在!

这是我的代码:

import urllib as ul
...
urls = []

for sec in range(1, 20):
   url = "http://www.website.com/something?sec[%d]=%d" % (sec,sec)
   url = ul.unquote(url)
   urls.append(url)


start_urls = urls

有人可以帮助我吗?

0 个答案:

没有答案