无法从Selenium page_source创建汤?

时间:2016-05-07 10:17:03

标签: python selenium web-scraping beautifulsoup

我正在尝试从WhoScored.com中提取一些数据。

我正在使用selenium来获取页面源,然后使用BeautifulSoup来导航DOM,但无法从中获取任何内容。

以下代码:

    #Importing the Libraries
from selenium import webdriver
from bs4 import BeautifulSoup #For scraping

#Open the Home Page of WhoScored.com

driver =webdriver.Firefox()

driver.get('https://www.whoscored.com/')

main_soup=BeautifulSoup(driver.page_source)

#print main_soup

result_tags=main_soup.select(".detailed-tournaments")

print result_tags

我将result_tags设为“[]”。无法弄清楚出了什么问题。我仍然是Python的新手。请帮忙。

1 个答案:

答案 0 :(得分:1)

似乎是解析器损坏的情况。无法获得更多详细信息,但代码工作正常:

main_soup=BeautifulSoup(driver.page_source,'html.parser')

我正在使用:Python 2.7.2 BeautifulSoup 4.4.1 Selenium版本:2.53.1

相关问题