标签： python selenium scrapy
我正在抓取一个网站，当我在3秒后向下滚动到末尾时，有自动生成的新数据并且滚动条得到扩展，我的抓取器无法获得新的数据。我不知道如何得到他们
答案 0 :(得分：0)
不确定代码的外观（因此很难回答您的问题）。我想您应该首先尝试加载所有内容（通过向下滚动），然后然后尝试从浏览器获取页面内容，例如通过
soup = BeautifulSoup(browser.page_source, 'lxml')