如何解决Python响应对象text属性显示乱码问题?

2026-05-26 23:090阅读0评论SEO教程
  • 内容介绍
  • 文章标签
  • 相关推荐

本文共计592个文字,预计阅读时间需要3分钟。

如何解决Python响应对象text属性显示乱码问题?

在获取网页响应对象res后,通过res.text属性可获取网页源代码,但可能存在乱码问题!因为requests库会自动猜测解码方式,将抓取的网页源代码解码,然后存储到res对象的text属性中。

在获得网页响应对象res后,使用res.text属性可以获得网页源代码,但可能出现乱码!因为requests库会使用自动猜测的解码方式将抓取的网页源码进行解码,然后存储到res对象的text属性中;

但有的网站的编码格式和requests库默认的解码格式()不一样(比如gbk gb2312是gbk的子集),这时候就要自己手动进行解码,先获得content属性,返回的是bytes类型的字符串,再进行解码decode(“网页的编码

格式”)

这时候可能出现新的问题

'gbk' codec can't decode byte 0xd0 in position 15264: illegal multibyte sequence

这是因为遇到了非法字符

比如网页中有这种字符

全角空格往往有多种不同的实现方式,比如\xa3\xa0,或者\xa4\x57,这些 字符,看起来都是全角空格,但它们并不是“合法”的全角空格(真正的全角空格是\xa1\xa1),因此在转码的过程中出现了异常。

只要字符串中出现了一个非法字符,整篇文章就都无法转码。

阅读全文

本文共计592个文字,预计阅读时间需要3分钟。

如何解决Python响应对象text属性显示乱码问题?

在获取网页响应对象res后,通过res.text属性可获取网页源代码,但可能存在乱码问题!因为requests库会自动猜测解码方式,将抓取的网页源代码解码,然后存储到res对象的text属性中。

在获得网页响应对象res后,使用res.text属性可以获得网页源代码,但可能出现乱码!因为requests库会使用自动猜测的解码方式将抓取的网页源码进行解码,然后存储到res对象的text属性中;

但有的网站的编码格式和requests库默认的解码格式()不一样(比如gbk gb2312是gbk的子集),这时候就要自己手动进行解码,先获得content属性,返回的是bytes类型的字符串,再进行解码decode(“网页的编码

格式”)

这时候可能出现新的问题

'gbk' codec can't decode byte 0xd0 in position 15264: illegal multibyte sequence

这是因为遇到了非法字符

比如网页中有这种字符

全角空格往往有多种不同的实现方式,比如\xa3\xa0,或者\xa4\x57,这些 字符,看起来都是全角空格,但它们并不是“合法”的全角空格(真正的全角空格是\xa1\xa1),因此在转码的过程中出现了异常。

只要字符串中出现了一个非法字符,整篇文章就都无法转码。

阅读全文