Question

我需要抓取一个电影共享网站，每个电影可以有多个剧集。蜘蛛仍然可以正常工作，但是返回的物品有一些缺点。

当蜘蛛访问索引页面时，它将提取链接以观看电影（http://tamnhinso.info/phim/phim-bo/），然后将产生请求以获取电影（具有很多剧集）的显示页面，然后从那里进行解析每个剧集的链接，然后尝试对每个剧集URL生成GET请求。之后，蜘蛛程序将解析HTML响应以获取每个剧集的视频链接。

def start_requests(self):
      for url in self.start_urls:
        yield Request(url=url, callback=self.parse_list_movie)

    def parse_list_movie(self, response):
      movie_urls = LinkExtractor(restrict_xpaths="//div[@class='col-md-2 col-xs-6 movie-item']").extract_links(response)
      for item in movie_urls:
        yield Request(url=item.url, callback=self.parse_movie_info)

      next_page = response.meta.get('next_page')
      num_next_page = 2 if next_page is None else next_page
      next_page_link = "phim/phim-bo/viewbycategory?page="

      if num_next_page <= 40:
        yield response.follow(next_page_link + str(num_next_page), 
                      callback=self.parse_list_movie, meta = {'next_page' : num_next_page + 1})

    def parse_movie_info(self, response):
      l = ItemLoader(item=PhimBoItem(), response=response)
      #some code to retrieve information from that film

      link_film_url = response.xpath("//div[@class='movie-detail']//div[@class='mt-10']/a/@href").extract_first()
      yield scrapy.Request(url=response.urljoin(link_film_url), callback=self.parse_list_episode, meta={"item": l})


    def parse_list_episode(self, response):
        loader = response.meta.get('item')
        script = """
                function main(splash)
                    splash.html5_media_enabled = true
                    splash.private_mode_enabled = false
                    assert(splash:go(splash.args.url))
                    assert(splash:wait(3))
                    return splash:html()
                end
            """
        for episode in LinkExtractor(restrict_xpaths="//div[@class='col-md-6 mt-20 watch-chap']").extract_links(response):
            yield SplashRequest(url=response.urljoin(episode.url), callback=self.parse_link_episode, meta={'item': loader}, endpoint='execute',
                                    args={'lua_source': script,'wait': 5, 'timeout': 3600})

    def parse_link_episode(self, response):
      loader = response.meta.get('item')
      loader.replace_value('episode', self.get_episode(response))
      return loader.load_item()

    def get_episode(self, response):
        l = ItemLoader(item=Episode(), response=response)
        l.add_value('ep_num', response.url, re = r'\-(\d+)')
        l.add_value('link', self.get_link(response))
        return dict(l.load_item())


    def get_link(self, response):
      l = ItemLoader(item=Link(), response=response)
      l.add_xpath('link_360', "//source[@label='360']/@src")
      l.add_xpath('link_720', "//source[@label='720']/@src")
      l.add_xpath('link_1080',  "//source[@label='1080']/@src")

      return dict(l.load_item())

返回的项目将通过项目管道传递并保存为json行格式。由于每部电影都有很多剧集，所以我得到的结果是这样的：

{"id":1, ..., "episode": {"ep_num": "1", "link": "..."}}
{"id":1, ..., "episode": {"ep_num": "2", "link": "..."}}
{"id":2, ..., "episode": {"ep_num": "1", "link": "..."}}

因为项目传递到管道是电影中每个情节的数据。我希望数据看起来像这样：

{"id":1, ..., "episode": [{"ep_num": "1", "link": "..."}, 
                           {"ep_num": "2", "link": "..."}, ...]}
{"id":2, ..., "episode": {"ep_num": "1", "link": "..."}}

我想我需要将数据传给scrapy，但我不知道该怎么做。请帮帮我。我非常感谢。谢谢。

Answer 1

据我所知，至少没有简单的方法可以在您的parse方法中收集这些响应。

最简单的方法可能是在抓取完成后对项目进行后期处理。

如果您不能等那么久，则可以随每个请求将请求的URL列表作为元数据传递。在项目管道中，您可以尝试等待所有这些响应，直到您进行进一步处理为止。在这种情况下，您将必须确保实际上所有请求都产生一个项目（即使是失败或被丢弃的请求）。

编辑：我偶然发现了这个库。它可能会帮助您：https://github.com/rmax/scrapy-inline-requests

使用Scrapy将数据传递回先前的回调

1 个答案: