自动解析网站

Question

我有一个想法，想知道是否可以实施。我想解析一个网站（copart.com），该网站每天显示一个不同的大型汽车列表，其中包含每辆汽车的相应描述。每天，我的任务是遍历每个列表（每个包含数百辆汽车）并选择满足特定要求（品牌，年份等）的每辆车。我想知道是否可以创建一个自动解析这些列表的工具，并在此过程中选择符合我标准的汽车。 我在想像ParseHub这样的网站抓取工具，但我并不想提取数据。我只是想要一个遍布网站的工具，并自动点击＆＃34;选择＆＃34;符合我标准的每辆车上的按钮。这样每天可以节省大量的时间。谢谢。

Answer 1

我认为您可以使用selenium执行此任务。它会自动打开Web浏览器，您可以使用xPath找到元素，然后单击选择按钮。我之前已经为一些家庭公用事业网站做过。

Answer 2

Scrapy是专为此设计的好工具。根据网页的呈现方式，您可能需要也可能不需要像Selenium这样的其他工具。提交或“选择”按钮通常只是可以使用HTML请求跟踪的链接，而无需其他浏览器仿真工具。如果您可以发布一些示例HTML，我们可以为您提供更多细节。