在PyQt中从网页检索HTML

Question

我目前正在运行python脚本，将给定用户登录到网页，并在登录后导航到站点上的其他页面。我的目标是让我在完成加载后获得最终页面的原始HTML。我尝试过Render类的不同变体，但它似乎抛出了“frame不是Render的属性”错误。就像我说的，我的主要目标只是获取页面的HTML。我做错了什么？

url = "https://firstwebpage.com/"
url3 = "https://finaldestinationpage.com" #the page that I want the HTML from
username = "username"
password = "password"




import sys, signal

from PyQt4.QtCore import *
from PyQt4.QtGui import *
from PyQt4.QtWebKit import *

class Render(QWebPage):
    def __init__(self, app, url):
         QWebPage.__init__(self)
         self.loadFinished.connect(self._loadFinished)
         self.mainFrame().load(QUrl(url))
         app.exec_()

    def _loadFinished(self, result):
         self.frame = self.mainFrame()


def JSEval(code):
    return webpage.mainFrame().evaluateJavaScript(code)

def onLoadStarted():
    print("Loading started: %s" % webpage.mainFrame().url().toString())

def onLoadFinished(result):

    print("Loading finished: %s" % webpage.mainFrame().url().toString())
    if not result:
        print("Request failed")
        return

    JSEval("_form = document.getElementsByName('loginForm')[0];")

    JSEval("_form.username.value='%s';" % username \
        + "_form.password.value='%s';" % password \
        + "_form.submit();")
    print("Login data sent")
    if webpage.mainFrame().url().toString() == url3:
        r = Render(app,url3)  
        html = r.frame.toHtml()  #Here is where the "frame" error comes in
        print(html)



app = QApplication(sys.argv)
signal.signal(signal.SIGINT, signal.SIG_DFL)
webpage = QWebPage()
webpage.connect(webpage, SIGNAL("loadFinished(bool)"), onLoadFinished)
webpage.connect(webpage, SIGNAL("loadStarted()"), onLoadStarted)
webpage.mainFrame().load(QUrl(url))   #where user is initally logged in
webpage.mainFrame().load(QUrl(url3))
web = QWebView()
web.setPage(webpage)
web.show()


sys.exit(app.exec_())

Answer 1

在Render课程中，您在frame的处理程序中设置了loadFinished属性，但在使用它时，您会在创建{{1}后立即尝试访问该属性实例。到那个时候，页面尚未加载的可能性很高，因此信号没有被触发，因此Render将不会退出。

如果你想获得页面的html内容，你只能在页面加载完成后才能这样做，所以最好在信号处理程序中完成。

哦，你不应该在r.frame中致电app.exec_()。