无法从网站上抓取数据：Python BS4

Question

我正尝试使用BS4和python从此Platform抓取数据。我尝试了许多方法，但无法检索任何信息。看起来像是来自API或其他东西的直接响应。有人可以在正确的方向帮助我吗？

要抓取的数据：

谢谢

Answer 1

您可以使用Chrome检查器查看页面上正在发出的请求。该页面正在向http://data.corkcity.ie/api/3/action/datastore_search

发出请求

以下是使用请求的代码片段，该请求提取数据并将其输出为json：

import requests 
import json
resp = requests.post(
    "http://data.corkcity.ie/api/3/action/datastore_search",
    headers={'Content-Type': 'application/json'},
    data=json.dumps(
        {
            "resource_id": "6cc1028e-7388-4bc5-95b7-667a59aa76dc",
            "filters": {},
            "limit": 10,
            "offset": 0,
        }
    ),
)
resp.json()