如何通过mmap实现多进程高效拷贝大文件？

本文共计1296个文字，预计阅读时间需要6分钟。

本例展示了如何使用mmap实现文件多进程拷贝。假设有一个大文件，需要完成其拷贝工作。为了提高效率，可以采用多进程并行拷贝的方法。以下是具体实现步骤：

1. 使用`mmap`对源文件进行内存映射，获取文件内容。

2.创建多个进程，每个进程负责拷贝文件的一部分。

3.在每个进程中，对目标文件进行内存映射，将获取的内容写入目标文件。

4.重复步骤2和3，直到所有文件内容被拷贝完成。

python

import osimport mmapimport multiprocessing

def copy_file_part(start, end, source_path, target_path): with open(source_path, 'rb') as f: # 使用mmap映射文件内容 mm=mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) mm.seek(start) # 读取并写入目标文件 with open(target_path, 'r+b') as t: t.seek(start) t.write(mm.read(end - start)) mm.close()

def main(): source_path='large_file.txt' # 假设源文件路径 target_path='large_file_copy.txt' # 假设目标文件路径 num_processes=4 # 进程数

# 获取源文件大小 file_size=os.path.getsize(source_path) part_size=file_size // num_processes

# 创建进程列表 processes=[] for i in range(num_processes): start=i * part_size end=(i + 1) * part_size if i

# 等待所有进程完成 for process in processes: process.join()

if __name__=='__main__': main()

本文实例为大家分享了mmap实现文件多进程拷贝，供大家参考，具体内容如下

假设有一个超大文件，需对其完成拷贝工作。为提高效率，可采用多进程并行拷贝的方法来实现。假设文件大小为len，共有n个进程对该文件进行拷贝。那每个进程拷贝的字节数应为len/n。但未必一定能整除，我们可以选择让最后一个进程负责剩余部分拷贝工作。可使用len % (len/n)将剩余部分大小求出。

为降低实现复杂度，可选用mmap来实现源、目标文件的映射，通过指针操作内存地址，设置每个进程拷贝的起始、结束位置。借助MAP_SHARED选项将内存中所做的修改反映到物理磁盘上。

思路：

//1. 指定创建子进程的个数
//2. 打开源文件
//3. 打开目的文件, 不存在则创建
//4. 获取文件大小
//5. 根据文件大小拓展目标文件
//6. 为源文件创建映射
//7. 为目标文件创建映射
//8. 求出每个子进程该拷贝的字节数
//9. 创建N个子进程
//10. 子进程完成分块拷贝(注意最后一个子进程拷贝起始位置)
//11. 释放映射区

代码如下：

#include<stdio.h> #include<stdlib.h> #include <sys/types.h> #include <sys/stat.h> #include <unistd.h> #include <sys/mman.h> #include<sys/wait.h> #include<string.h> #include <fcntl.h> int main(int argc,char*argv[]) { int n; if(argc < 3 || argc > 4) { printf("Enter like this : ./a.out file_src file_dst [proc_number]\n"); exit(1); } else if(argc == 3) //用户未指定，默认创建5个进程。 n = 5; else n = atoi(argv[3]); //2.打开源文件 int fd_src = open(argv[1],O_RDONLY); if(fd_src < 0) { perror("open"); exit(2); } //3.打开目标文件，不存在就创建，存在则截断为0的大小。 int fd_dst = open(argv[2],O_RDWR |O_CREAT |O_TRUNC,0664); if(fd_dst < 0) { perror("open"); exit(3); } //4.获取源文件大小。 struct stat sbuf; int ret = fstat(fd_src,&sbuf); //fd_src所指向的文件信息保存到结构体sbuf中。 if(ret < 0) { perror("fstat"); exit(4); } int flen = sbuf.st_size; //源文件大小。 if(flen < n) //文件长度小于进程个数。 { n = flen; } //5.根据文件大小拓展目标文件。 ret = ftruncate(fd_dst,flen);//将参数fd指定的文件大小改为参数length指定的大小 if(ret < 0) { perror("ftruncate"); exit(5); } //6.为源文件创建映射。 // void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset); //addr == NULL,表示内核选择一个合适的地址创建一个length大小的共享内存， char *mp_src = (char*)mmap(NULL,flen,PROT_READ,MAP_SHARED,fd_src,0); //0，表示将fd_src所指向的文件从起始映射到共享内存中，共享内存的权限为只读，进程间共享。 if(mp_src == MAP_FAILED) //mmap一定要检查返回值。 { perror("mmap"); exit(6); } close(fd_src); //7.为目标文件创建映射。 char *mp_dst = (char*)mmap(NULL,flen,PROT_READ|PROT_WRITE,MAP_SHARED,fd_dst,0); if(mp_dst == MAP_FAILED) //mmap一定要检查返回值。 { perror("mmap"); exit(7); } close(fd_dst); //8.求出每个进程拷贝的字节数。 int bs = flen / n; int mod = flen % bs; //求出均分后余下的字节数，让最后一个子进程处理。 char *temp_src = mp_src; char *temp_dst = mp_dst; //9.创建n个子进程。 int i ; pid_t pid; for(i = 0; i < n; ++i) { printf("create %dth proc\n",i); if( (pid =fork()) == 0 ) break; } if(n == i) //父进程。 { int j = 0; for(j = 0; j < n; ++j) wait(NULL); } else if(i == (n-1)) //10.子进程拷贝，最后一个子进程，它多处理均分后剩下的字节数。 { printf("i = %d\n",i); memcpy(temp_dst+i*bs,temp_src+i*bs,bs+mod); } else if(i == 0) { printf("i = %d\n",i); memcpy(temp_dst,temp_src,bs); } else { printf("i = %d\n",i); memcpy(temp_dst+i*bs,temp_src+i*bs,bs); } //11.释放映射区。 munmap(mp_src,flen); munmap(mp_dst,flen); return 0; }

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持自由互联。