如何利用Python高效处理大型文件操作？

本文共计747个文字，预计阅读时间需要3分钟。

前言：在日常的测试开发工作中，需要经常对文件进行操作，如对日志文件的分析，对数据文件的遍历。如果遇到较大的文件，则要求程序的健壮性有更高的要求。例如，读取日志文件。实例：1、目前读取日志文件。

前言

在日常的测试开发工作中，需要经常对文件进行处理，如对日志文件的分析，对数据文件的遍历，如果遇到比较大的文件，那就要求程序的健壮性有更高的要求。

实例

1、现以读取一个大小为900M的文件为例，现已常用的文件处理方式把每行内容打印出来，并记录处理时间。

start=time.time()

with open("/Users/xxx/Downloads/绝命毒师.mp4", "rb") as fp:
print(fp.read())

end=time.time()
eplase=end-start
print(eplase)

运行结果：

(打印内容省略)
...
...
...
230.72680592536926

解析：

运行程序可以看到，Pycharm的控制台也是等了差不多60S后才有显示的内容，这是因为程序要先把文件所有内容读取放入内存中，然后再对文件的内容做逐行打印，整个处理时间花费了230S，如果文件更大的话这种处理逻辑还有可能报内存溢出的错误。