使用Python和Selenium使用javascript从站点抓取数据

时间:2018-07-22 17:47:46

标签: javascript python selenium web-scraping

我正在尝试使用python从ESPN上的即时幻想足球选秀中抓取数据,特别是关于已经被选拔的球员的数据。在草稿进行过程中,我已经查看了HTML代码,而所需的数据不在其中。但是,其中一个草稿结束后,我再次查看了HTML,发现它已更改(在我离开计算机大约半小时之后)。我可以滚动浏览chrome开发人员工具中的新代码,现在可以查找所需的数据。埋在很远的地方,我发现了这一点,还有其他被选中的球员:

<span class="playerinfo__playername">Todd Gurley II</span>

然后我在python中编写了以下代码以尝试将其清除,但未发生任何事情:

from selenium import webdriver
import time

driver = 
webdriver.PhantomJS(executable_path=r'<Path>')

driver.get('http://fantasy.espn.com/ffl/draft?leagueId=197121&seasonId=2018&teamId=2&userProfileId=17196838')

time.sleep(3)

playerList = driver.find_elements_by_class_name('playerinfo__playername')
for player in playerList:
    print(player.get_text())

我不确定是否存在计时问题,或者是否只有我无法看到的javascript代码。

如果有人如此动心,则可以在下面找到指向模拟草稿大厅的链接,可以通过以下任何链接进入模拟草稿室来找到我要抓取的页面:http://games.espn.com/ffl/mockdraftlobby

0 个答案:

没有答案