使用POST方法通过URL传递值来计算域的年龄

Question

我想通过在http://www.webconfs.com/domain-age.php这样的网址中传递变量来计算http://www.webconfs.com/domain-age.php?domains=youtube.com中几个网站的域名年龄。

问题出在本网站的form标记中，他们使用POST方法，因此在我的Python代码中，无论是否附加域名都会返回相同的网页。

如何从网址和结果网页传递不同网站的价值？

Answer 1

您可以使用requests制作POST request和BeautifulSoup HTML解析器，以便从html页面获取年龄：

>>> import requests
>>> from bs4 import BeautifulSoup
>>> import re
>>> url = "http://www.webconfs.com/domain-age.php"
>>> domain = 'youtube.com' 
>>> r = requests.post(url, {'domains': domain, 'submit': 'submit'})
>>> soup = BeautifulSoup(r.content)
>>> for item in soup.find_all('a', href=re.compile('website-history')):
...     print item.text
... 
9 years 0 months old