Question

我试图在名为iens的网站上浏览不同的网页。我使用selenium + python点击＆＃34; volgende＆＃34; （这意味着＆＃34;接下来＆＃34;在荷兰语中），但是我希望我的程序继续点击下一步，直到没有剩下的页面使用while循环。所以在这种情况下，我希望我的程序在第23页结束。现在我可以通过关闭cookie弹出消息到达第2页，等到它关闭然后点击＆＃34; Volgende＆＃34;按钮。

我的代码如下所示：

 from selenium.webdriver.support.ui import WebDriverWait
 from selenium import webdriver
 from selenium.webdriver.common.by import By
 from selenium.webdriver.support import expected_conditions as EC

 chrome_path = '/Users/user/Downloads/chromedriver'
 driver = webdriver.Chrome(chrome_path)
 driver.get('https://www.iens.nl/restaurant+utrecht')

 #wait for cookie message
 close_icon = WebDriverWait(driver, 5, 
 0.25).until(EC.visibility_of_element_located([By.CSS_SELECTOR, 
 '.cookiePolicy-close']))

 close_icon.click()

 #wait for cookie message to disappear
 WebDriverWait(driver, 5, 
 0.25).until(EC.invisibility_of_element_located([By.CSS_SELECTOR, 
 '.cookiePolicy-close']))

 click_icon = WebDriverWait(driver, 5, 
 0.25).until(EC.visibility_of_element_located([By.LINK_TEXT, 
 'Volgende']))
 click_icon.click()

该网站名为https://www.iens.nl/restaurant+utrecht

提前致谢！

Answer 1

由于每次切换到下一页时都会自动滚动，webdriver会尝试点击Next按钮，但其他一些元素会收到点击。您可以使用此解决方案：

while True:
    try:
        click_icon = WebDriverWait(driver, 5, 0.25).until(EC.visibility_of_element_located([By.LINK_TEXT, 'Volgende']))
        click_icon.click()
        WebDriverWait(driver, 5).until(EC.presence_of_element_located((By.CSS_SELECTOR, 'main:not([style*="margin-top"])')))
    except:
        break

另一个简单的解决方案（仅当您的目标是到达最后一页时）是在不点击Next的情况下获取最后一页：

driver.find_elements_by_xpath('//div[@class="pagination"]/ul/li/a')[-2].click()

使用Python + Selenium点击下一页，使用while循环

1 个答案: