HtmlResponse编码错误

时间:2017-09-19 15:40:42

标签: python scrapy web-crawler scrapy-spider

我找不到任何我正在搜索的元素,我认为这是由HtmlResponse中错误的字符集引起的。

所以,我在这里描述了一个回应

new_response = HtmlResponse(response.url, body=response.body)

这个回复的new_response.text看起来像

  

BA] d $ d♣MAF< AE4Ó³

当我在浏览器中打开此页面时,我可以看到在http响应标头和html元标记中描述了两个不同的字符集 - iso-8859-1和utf-8。

那么我应该怎样做才能获得有效字符集的内容?

0 个答案:

没有答案