Python mmap模块如何高效处理大文本内存映射？

本文共计5567个文字，预计阅读时间需要23分钟。

背景：在UNIX系统下处理文本文件的方法通常是使用sed、awk等shell命令。这些方法对处理大型文件时受CPU、IO等因素影响，对服务器也有一定的压力。关于sed的说明，可以了解其工作原理。文本内容本节。

背景：

通常在UNIX下面处理文本文件的方法是sed、awk等shell命令，对于处理大文件受CPU，IO等因素影响，对服务器也有一定的压力。关于sed的说明可以看​​了解sed的工作原理​​，本文将介绍通过python的mmap模块来实现对大文件的处理，来对比看他们的差异。

说明：

mmap是一种虚拟内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。关于系统中mmap的理论说明可以看​​百度百科​​​和​​维基百科​​​说明以及mmap函数介绍​，这里的说明是针对在Python下​​mmap​​模块的使用说明。

使用：1，创建：创建并返回一个 mmap 对象m

m=mmap.mmap(fileno, length[, flags[, prot[, access[, offset]]]])

fileno：文件描述符，可以是file对象的fileno()方法，或者来自os.open()，在调用mmap()之前打开文件，不再需要文件时要关闭。