从网站上的表格交互式抓取数据

时间:2018-05-23 11:56:36

标签: python selenium web-scraping beautifulsoup scrapy

我不熟悉报废和python。我有自己的任务。实际上我需要从表单中提取一些数据。我已经学会了如何从HTML元素中提取数据,但这对我来说有点棘手。任务应如下所示:
 1.我需要登录网站
 2.转到特定URL
 然后我需要以某种方式从表格中提取所有数据 出现问题是因为选择上一个下拉按钮时会显示下一个下拉按钮的数据。 Here is显示网站外观和旁边的源代码的图片。

1 个答案:

答案 0 :(得分:1)

    import scrapy

class AutoscoutSpider(scrapy.Spider):
    name = 'autoscout'
    allowed_domains = ['autoscout24.de']
    login_url = 'https://angebot.autoscout24.de/login?fromNavi=myAS24'
    start_urls = [login_url]

    def parse(self, response):
        token = response.css('input[name="__RequestVerificationToken"]::attr(value)').extract_first()
        podaci = {
        '__RequestVerificationToken' : token,
        'Username': '*********',
        'Password' : '********',
        }
        pass

这是我到目前为止所做的,我刚刚开始制作蜘蛛。我正在使用scrapy框架