如何通过Python3的tracemalloc模块监控mmap内存使用变化？

本文共计2766个文字，预计阅读时间需要12分钟。

技术背景+在前一篇博客中，我们介绍了使用Python3处理表格数据的几种方法，其中重点包含了vaex这样的大规模数据处理案例。这种数据处理方案基于内存映射（memory map）技术。

技术背景

在前面一篇博客中我们介绍了一些用python3处理表格数据的方法，其中重点包含了vaex这样一个大规模数据处理的方案。这个数据处理的方案是基于内存映射（memory map）的技术，通过创建内存映射文件来避免在内存中直接加载源数据而导致的大规模内存占用问题，这使得我们可以在本地电脑内存规模并不是很大的条件下对大规模的数据进行处理。在Python 3中，存在一个名为mmap的库，可用于直接创建内存映射文件。

用tracemalloc跟踪python程序内存占用

这里我们希望能够对比内存映射技术的实际内存占用，因此我们需要引入一个基于python的内存追踪工具：tracemalloc。