如何高效实现大批量文件的长尾词迁移方案？

本文共计601个文字，预计阅读时间需要3分钟。

在日常生活中，我们经常需要执行文件迁移，尤其是大文件（可能达10T以上，包含各种大小文件）的迁移。如果我们单独使用CP命令进行迁移，效率较低。

在我们日常工作中有很多的时候需要进行文件迁移但是诸如10T之类的大文件(里面包含若干小文件的时候)我们如果单单使用CP的命令进行迁移

在我们日常工作中有很多的时候需要进行文件迁移但是诸如10T之类的大文件(里面包含若干小文件的时候)我们如果单单使用CP的命令进行迁移的话

那么他的效率经过测试1分钟最多也就1G之内的效率。所以如何提高迁移效率呢我们就需要使用并发执行的方式进行

比如说/data目录中有100个文件夹需要迁移到本机器的/data2目录下。如何开展

简单的来说cp -r /data/ /data2 即可。但是这样迁移的话就会消耗大量的时间因为在/data下面还有很多文件夹逐级目录然后散列的一些小文件。

据统计效率应该在1G每分钟那么在线迁移10T消耗大约为10000分钟约为7天不包含之间有效率降低。

那么怎么做才能加快迁移效率呢很显然那就是多开CP命令将服务器的IO全部调用起来。

如何开

首先/data目录下面有几百个目录那么我们可以进行目录的提取如ls -l |awk {print $9} >> Folder.txt

编写批量迁移脚本

#!/bin/bash

cat Folder.txt.txt|while read line

do

{

cp -r $line /data2/

}但是加了 迅速执行下一个CP命令。

如果100个文件夹那么我们可以把时间缩短10倍。