Python lxml etree.XMLParser如何高效处理超大XML文件？

本文共计876个文字，预计阅读时间需要4分钟。

由于libxml2默认限制单个文本节点大小（约10MB），在处理过长的CDATA或极深嵌套的纯文本内容时，可能会导致直接中断。这并非lxml的bug，而是底层安全策略——防止内存耗尽或DoS攻击。

关键不是“文件大”，而是“某个文本节点太大”。比如日志 XML 里一段 base64 编码的二进制 dump，或者 SQL 脚本全塞在一个 <content> 标签里。

• 必须显式启用 huge_tree=True，否则 parser 会拒绝解析
• huge_tree=True 只影响文本节点和属性长度限制，不解除递归深度或总内存限制
• 启用后内存占用可能陡增，尤其当 XML 中存在大量连续空白或未分割的超长字符串时

怎么安全地用 etree.XMLParser 开启 huge_tree

不能只写 etree.XMLParser(huge_tree=True) 就完事。