Question

我正在尝试使用Scrapy从网站获取每个链接（而没有其他数据）。我想从首页开始，从那里抓取所有链接，然后对于找到的每个链接，跟随该链接并从该页面抓取所有（唯一）链接，并对找到的所有链接执行此操作，直到没有更多的链接为止跟随。

我还必须输入用户名和密码才能进入网站的每个页面，因此我在start_requests中包含了一个基本的身份验证组件。

到目前为止，我只有一个蜘蛛，仅在主页上提供链接，但是我似乎无法弄清为什么它不关注链接并抓取其他页面。

这是我的蜘蛛：

    from examplesite.items import ExamplesiteItem
    import scrapy
    from scrapy.linkextractor import LinkExtractor
    from scrapy.spiders import Rule, CrawlSpider
    from scrapy import Request
    from w3lib.http import basic_auth_header
    from scrapy.crawler import CrawlerProcess

    class ExampleSpider(CrawlSpider):
#name of crawler
name = "examplesite"

#only scrape on pages within the example.co.uk domain
allowed_domains = ["example.co.uk"]

#start scraping on the site homepage once credentials have been authenticated
def start_requests(self):
    url = str("https://example.co.uk")
    username = "*********"
    password = "*********"
    auth = basic_auth_header(username, password)
    yield scrapy.Request(url=url,headers={'Authorization': auth})

#rules for recursively scraping the URLS found
rules = [
    Rule(
        LinkExtractor(
            canonicalize=True,
            unique=True
        ),
        follow=True,
        callback="parse"
    )
]

#method to identify hyperlinks by xpath and extract hyperlinks as scrapy items
def parse(self, response):
    for element in response.xpath('//a'):
        item = ExamplesiteItem()
        oglink = element.xpath('@href').extract()
        #need to add on prefix as some hrefs are not full https URLs and thus cannot be followed for scraping
        if "http" not in str(oglink):
            item['link'] = "https://example.co.uk" + oglink[0]
        else:
            item['link'] = oglink

        yield item

这是我的物品类别：

    from scrapy import Field, Item

    class ExamplesiteItem(Item):
        link = Field()

我认为我要弄错的是“规则”，我知道您需要点击链接，但是我不完全了解它的工作原理（尝试过在线阅读一些解释，但仍然没有当然）。

任何帮助将不胜感激！

Answer 1

您的规则很好，问题在于覆盖了parse方法。

摘自https://doc.scrapy.org/en/latest/topics/spiders.html#crawling-rules的草草文档

在编写抓取蜘蛛规则时，请避免使用parse作为回调，因为CrawlSpider使用parse方法本身来实现它的逻辑。因此，如果您覆盖parse方法，则爬网蜘蛛将不再起作用。

如何使用Scrapy从站点上递归地抓取每个链接？

1 个答案: