Question

我正在使用Beautiful Soup来解析HTML文件中的一些JSON。基本上我用来从LinkedIn搜索结果中获取所有员工档案。但是，出于某种原因，由于某种原因，它不适用于拥有10名以上员工的公司。这是我的代码

import requests, json
from bs4 import BeautifulSoup
s = requests.session()

def get_csrf_tokens():
    url = "https://www.linkedin.com/"
    req = s.get(url).text

    csrf_token = req.split('name="csrfToken" value=')[1].split('" id="')[0]
    login_csrf_token = req.split('name="loginCsrfParam" value="')[1].split('" id="')[0]

    return csrf_token, login_csrf_token


def login(username, password):
    url = "https://www.linkedin.com/uas/login-submit"
    csrfToken, loginCsrfParam = get_csrf_tokens()

    data = {
        'session_key': username,
        'session_password': password,
        'csrfToken': csrfToken,
        'loginCsrfParam': loginCsrfParam
    }

    req = s.post(url, data=data)
    print "success"

login(USERNAME PASSWORD)
def get_all_json(company_link):
    r=s.get(company_link)
    html= r.content
    soup=BeautifulSoup(html)
    html_file= open("html_file.html", 'w')
    html_file.write(html)
    html_file.close()
    Json_stuff=soup.find('code', id="voltron_srp_main-content")
    print Json_stuff
    return remove_tags(Json_stuff)
def remove_tags(p):
    p=str(p)
    return p[62: -10]

def list_of_employes():
    jsons=get_all_json('https://www.linkedin.com/vsearch/p?f_CC=2409087')
    print jsons
    loaded_json=json.loads(jsons.replace(r'\u002d', '-'))
    employes=loaded_json['content']['page']['voltron_unified_search_json']['search']['results']
    return employes
def get_employee_link(employes):
    profiles=[]
    for employee in employes:
        print employee['person']['link_nprofile_view_3']
        profiles.append(employee['person']['link_nprofile_view_3'])
    return profiles , len(profiles)

print get_employee_link(list_of_employes())

它不适用于现有的链接;但它适用于该公司搜索：https://www.linkedin.com/vsearch/p?f_CC=3003796

修改：我很确定这是get_all_json（）函数的错误。如果你看一下，它没有为员工超过10人的公司正确获取JSON。

Answer 1

这是因为结果是分页的。您需要遍历json数据中定义的所有页面：

data['content']['page']['voltron_unified_search_json']['search']['baseData']['resultPagination']['pages']

pages是一个列表，对于公司2409087来说是：

[{u'isCurrentPage': True, u'pageNum': 1, u'pageURL': u'http://www.linkedin.com/vsearch/p?f_CC=2409087&page_num=1'}, 
 {u'isCurrentPage': False, u'pageNum': 2, u'pageURL': u'http://www.linkedin.com/vsearch/p?f_CC=2409087&page_num=2', u'page_number_i18n': u'Page 2'}, 
 {u'isCurrentPage': False, u'pageNum': 3, u'pageURL': u'http://www.linkedin.com/vsearch/p?f_CC=2409087&page_num=3', u'page_number_i18n': u'Page 3'}]

这基本上是您需要克服并获取数据的URL列表。

这是您需要做的事情（省略登录代码）：

def get_results(json_code):
    return json_code['content']['page']['voltron_unified_search_json']['search']['results']

url = "https://www.linkedin.com/vsearch/p?f_CC=2409087"
soup = BeautifulSoup(s.get(url).text)

code = soup.find('code', id="voltron_srp_main-content").contents[0].replace(r'\u002d', '-')
json_code = json.loads(code)

results = get_results(json_code)

pages = json_code['content']['page']['voltron_unified_search_json']['search']['baseData']['resultPagination']['pages']
for page in pages[1:]:
    soup = BeautifulSoup(s.get(page['pageURL']).text)
    code = soup.find('code', id="voltron_srp_main-content").contents[0].replace(r'\u002d', '-')
    json_code = json.loads(code)
    results += get_results(json_code)

print len(results)

为https://www.linkedin.com/vsearch/p?f_CC=2409087打印25 - 确切地说，您在浏览器中看到了多少。

Answer 2

原来这是默认的BeautifulSoup解析器的问题。我通过这样做将其更改为html5lib：

在控制台中安装

pip install html5lib

并在第一次创建汤对象时更改您选择的解析器类型。

soup = BeautifulSoup(html, 'html5lib')

BeautifulSoup docs here

中记录了这一点

在某些情况下美丽的汤pareses而在其他情况下没有。为什么？

2 个答案: