如何通过MySqlBulkLoader实现高效的长尾词数据批量导入操作？

本文共计2572个文字，预计阅读时间需要11分钟。

最近在项目中遇到数据插入瓶颈，几百万、几千万、几亿的数据存储到MYSQL数据库，使用EF插入数据速度非常慢，数据量非 常大时EF插入需要几十分甚至几个小时，这样子的速度无法满足需求。

最近在项目中遇到插入数据瓶颈，几万、几十万、几百万的数据保存到MYSQL数据库，使用EF插入数据速度非常慢，数据量非常大时EF插入需要几十分钟，甚至几个小时，这样子的速度肯定不是我们所期望的。

后面经过了解与研究发现MySqlBulkLoader，可以批量将数据插入到数据库并且速度上面远远优于EF。

MySqlBulkLoader主要的实现方式：将需要插入的数据转成DataTable，DataTable转成一个CSV文件，将CSV文件使用批量导入的形式导入到数据库里面去。

注意：

1）.数据库连接地址需要添加配置AllowLoadLocalInfile=true,允许本地文件导入；

Data Source = 数据库地址; Port = 端口; Initial Catalog = 数据库名; User Id = 用户名; Password = 密码;AllowLoadLocalInfile=true;

2）.插入的时候会返回插入行数，但是检查所有的数据都正确，也没有报异常，却返回了插入数量为0，可以检查表是否有唯一索引，插入的数据是否违反了唯一索引。