如何刮动态网站？

Question

我是一个新手网站刮刀，试图在Hackathon.io上获取所有过去事件的可用列表。任何建议将不胜感激。我一直在使用镀铬刮板扩展，但它在本网站上显示为空/空白。谢谢

http://www.hackathon.io/events

Answer 1

可以像这样枚举更多按钮：http://www.hackathon.io/events?location=&page=61&term=&time=past&utf8=%E2%9C%93;你只需要遍历这些并使用适当的xpath获取链接。