使用Urllib2和美味汤的未命名错误

时间:2016-07-28 10:13:51

标签: python python-2.7 beautifulsoup urllib2 scraper

此代码块的输出始终返回“except”。我的终端没有显示特定错误。我究竟做错了什么 ? 任何帮助表示赞赏!

from bs4 import BeautifulSoup
import csv
import urllib2

# get page source and create a BeautifulSoup object based on it
try:
    print("Fetching page.")
    page = urllib2.open("http://siph0n.net")
    soup = BeautifulSoup(page, 'lxml')

    #specify tags the parameters are stored in
    metaData = soup.find_all("a")
except:
    print("Error during fetch.")
    exit()

2 个答案:

答案 0 :(得分:0)

  

“我的终端没有显示特定错误”

那是因为你的python27.lib块正在遮挡它。删除except或在try/except块中打印例外:

except

请注意,捕获常规类型try: . . . except Exception as ex: print(ex) 通常是一个坏主意。您的Exception块应始终捕获特定的异常类型。

答案 1 :(得分:0)

您可以使用请求获取数据。

from bs4 import BeautifulSoup
import requests
import csv
import urllib2
# get page source and create a BeautifulSoup object based on it
try:
    print("Fetching page.")
    page = requests.get("http://siph0n.net")
    soup = BeautifulSoup(page, 'lxml')

    #specify tags the parameters are stored in
    metaData = soup.find_all("a")
except Exception as ex:
    print(ex)