Python爬虫乱码问题如何解决？设置response.encoding为utf-8或让apparent_encoding自动识别？

本文共计1004个文字，预计阅读时间需要5分钟。

由于很多网页实际的编码不是UTF-8，硬编码requests自动识别的结果会导致乱码。例如GBK编码的中文字符页面，强制设置utf-8后，response.text解码时会把两个字节当作一个UTF-8字符处理，直接导致崩溃或乱码。

requests 默认用 response.apparent_encoding（基于 chardet 探测）做初始解码，这个值通常比硬写 utf-8 更靠谱——但也不是万能的，尤其遇到 meta 标签缺失、BOM 混乱或压缩传输时。

• 优先看 response.headers.get('content-type')，如果有 charset=gbk 这类明确声明，就按它来
• 没声明时，先打印 response.apparent_encoding 和 response.content[:100]（二进制前100字节），确认探测是否合理
• 若探测结果是 utf-8 但页面明显乱码，大概率是 GBK/GB2312，可试 response.content.decode('gbk', errors='ignore')

apparent_encoding 为啥经常不准，怎么补救

chardet 的探测逻辑依赖字节分布统计，对短文本、无特征内容（比如纯数字 ID 列表）、含大量英文的中文页，容易误判为 ascii 或 utf-8。更麻烦的是，某些网站返回的 content-type 声明和实际 body 编码不一致，requests 会优先信 header，导致 apparent_encoding 被绕过。

• 永远别只信 apparent_encoding，一定要结合 response.content 二进制内容肉眼判断：用 response.content[:50].hex() 看有没有常见 GBK 特征字节（如 c4e3、b9a3）
• 手动 decode 时用 errors='replace' 或 'ignore'，避免解码中断；之后再用正则或字符串特征（如中文字符占比）反推是否成功
• 对已知固定站点，直接记下它的编码（比如某政府网站永远用 gb2312），写死比自动推断稳

requests 中 response.text 和 response.content.decode() 的区别在哪

response.text 是 requests 封装好的字符串，内部调用了 response.content.decode(response.encoding)。一旦你改了 response.encoding，text 就会跟着变；但 response.content 始终是原始 bytes，不受影响——这是调试乱码的关键。

立即学习“Python免费学习笔记（深入）”；

• 调试时永远先 print response.content[:200]，而不是直接 print response.text
• 如果 response.content.decode('gbk') 正常，但 response.text 乱码，说明 response.encoding 设错了，或者没设对时机（必须在访问 .text 前设）
• 用 response.content.decode('utf-8', errors='surrogateescape') 可保留无法解码的字节，后续还能转回 bytes 处理，适合需要二次编码的场景

遇到 gzip 压缩响应时，编码问题会更复杂吗

会。requests 默认自动解压 gzip，但解压后的 bytes 才是真正要解码的内容。如果服务器 header 声明了错误 charset（比如 charset=utf-8，但实际 body 是 gzip 压缩的 GBK），requests 仍会按 header 设置 encoding，导致解码失败。

• 检查 response.headers.get('content-encoding')，确认是否被压缩；若为 gzip，确保 requests 版本 ≥ 2.25.0（旧版有解压后 encoding 丢失 bug）
• 手动控制解压：设 headers={'Accept-Encoding': 'identity'} 绕过 gzip，拿到原始压缩流后自己解压再 decode，可控性更高
• 某些小众编码（如 hz-gb-2312）requests 不支持，必须用 response.content + codecs.decode(...) 手动处理

乱码本质是 bytes 到 str 的映射错误，关键不在“选哪个编码”，而在于验证当前 bytes 真实属于哪种编码——这一步跳过，后面全白搭。