无法使用python解析网页

Question

我正试图在下面的网页上进行分析，以获取在交易所中一直处于高位或低位的股票名称。

https://www.bseindia.com/markets/equity/EQReports/HighLow.html?Flag=H#

但是，当我使用漂亮的汤下载网页并检查数据时，找不到网页中提到的股票名称或价格。 我希望编写一个函数来下载每天都创下新高的股票，请帮助我缺少什么？

Answer 1

页面上的部分HTML由JavaScript动态生成。您最有可能使用requests库，该库无法处理以这种方式生成的HTML。

相反，您可以使用Selenium库，该库允许您启动由Python控制的Web浏览器的实例，并从中获取页面源。

from selenium import webdriver

path = '...' # path to driver here
url = 'https://www.bseindia.com/markets/equity/EQReports/HighLow.html?Flag=H#'

driver = webdriver.Chrome(path)
page_source = driver.get(url).page_source

通过用page_source解析BeautifulSoup，可以得到想要的东西。