如何高效使用EasyExcel进行Excel数据的快速读写操作？
- 内容介绍
- 文章标签
- 相关推荐
本文共计1048个文字，预计阅读时间需要5分钟。
原文链接：https://www.jianshu.com/p/80505fb72493
Java解析、生成带的Excel框架有Apache poi和jxl。但它们都存在一个严重的问题，那就是非常耗内存。Poi有一套SAX模式的API，可以一定程度上解决这个问题。
原文链接:www.jianshu.com/p/80505fb72493
Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但POI还是有一些缺陷，比如07版Excel解压缩以及解压后存储都是在内存中完成的，内存消耗依然很大。
easyexcel重写了poi对07版Excel的解析，能够原本一个3M的excel用POI sax依然需要100M左右内存降低到KB级别，并且再大的excel不会出现内存溢出，03版依赖POI的sax模式。在上层做了模型转换的封装，让使用者更加简单方便
ps: 其实本人并没有对比过POI，只是网络上资料都有这么一说，再对比了GitHub的star数，最后直接选用了EasyExcel
本文介绍一下，如何使用实体映射关系直接读取Excel数据
数据准备假设需要读取的数据如下：
Excel数据 定义实体类
首先定义实体类User，需要继承BaseRowModel
@Data
public class User extends BaseRowModel {
@ExcelProperty(value = "姓名", index = 0)
private String name;
@ExcelProperty(value = "昵称", index = 1)
private String nickName;
@ExcelProperty(value = "密码", index = 2)
private String password;
//不支持LocalDate
@ExcelProperty(value = "生日", index = 3, format = "yyyy/MM/dd")
private Date birthday;
}
数据读取监听类日期类型不支持LocalDate，只能是Date
- 继承
AnalysisEventListener并要求泛型类是BaseRowModel的子类
@Slf4j
public class ExcelListener<T extends BaseRowModel> extends AnalysisEventListener<T> {
private final List<T> rows = new ArrayList<>();
@Override
public void invoke(T object, AnalysisContext context) {
rows.add(object);
}
@Override
public void doAfterAllAnalysed(AnalysisContext context) {
log.info("read {} rows %n", rows.size());
}
public List<T> getRows() {
return rows;
}
}
Excel读写工具类实现的比较直接，就是全部读取到List后再处理
实现Excel数据的读取和写入
@Slf4j
public final class ExcelUtil {
/**
* 从Excel中读取文件，读取的文件是一个DTO类，该类必须继承BaseRowModel
* 具体实例参考 ： MemberMarketDto.java
* 参考：github.com/alibaba/easyexcel
* 字符流必须支持标记，FileInputStream 不支持标记，可以使用BufferedInputStream 代替
* BufferedInputStream bis = new BufferedInputStream(new FileInputStream(...));
*/
public static <T extends BaseRowModel> List<T> readExcel(final InputStream inputStream, final Class<? extends BaseRowModel> clazz) {
if (null == inputStream) {
throw new NullPointerException("the inputStream is null!");
}
ExcelListener<T> listener = new ExcelListener<>();
// 这里因为EasyExcel-1.1.1版本的bug，所以需要选用下面这个标记已经过期的版本
ExcelReader reader = new ExcelReader(inputStream, valueOf(inputStream), null, listener);
reader.read(new com.alibaba.excel.metadata.Sheet(1, 1, clazz));
return listener.getRows();
}
public static void writeExcel(final File file, List<? extends BaseRowModel> list) {
try (OutputStream out = new FileOutputStream(file)) {
ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);
//写第一个sheet, 有模型映射关系
Class<? extends BaseRowModel> t = list.get(0).getClass();
Sheet sheet = new Sheet(1, 0, t);
writer.write(list, sheet);
writer.finish();
} catch (IOException e) {
log.warn("fail to write to excel file: file[{}]", file.getName(), e);
}
}
/**
* 根据输入流，判断为xls还是xlsx，该方法原本存在于easyexcel 1.1.0 的ExcelTypeEnum中。
*/
public static ExcelTypeEnum valueOf(InputStream inputStream) {
try {
FileMagic fileMagic = FileMagic.valueOf(inputStream);
if (FileMagic.OLE2.equals(fileMagic)) {
return ExcelTypeEnum.XLS;
}
if (FileMagic.OOXML.equals(fileMagic)) {
return ExcelTypeEnum.XLSX;
}
throw new IllegalArgumentException("excelTypeEnum can not null");
} catch (IOException e) {
throw new RuntimeException(e);
}
}
}
实用类
public class EasyexcelApplication {
public static void main(String[] args) {
try (FileInputStream inputStream = new FileInputStream("user.xlsx")) {
List<User> users = ExcelUtil.readExcel(new BufferedInputStream(inputStream), User.class);
System.out.println(users);
} catch (IOException e) {
e.printStackTrace();
}
}
}
注意事项
- 日期类型只支持Date，不支持LocalDate和LocalDateTime
NotOfficeXmlFileException: No valid entries or contents found, this is not a valid OOXML (Office Open XML) file：这个是1.1.1的bug，在1.1.2-beta2中已经处理，暂时解决的办法就是使用过期的方法
new ExcelReader(inputStream, ExcelTypeEnum.XLSX, null, listener)
java.io.IOException: getFileMagic() only operates on streams which support mark(int)：因为FileInputStream不支持标记，可以使用BufferedInputStream代替
BufferedInputStream bis = new BufferedInputStream(new FileInputStream(...));
参考
- 使用easyexcel读写Excel
- 解析excel 用推荐的ExcelReader不传ExcelTypeEnum的方法 就无法识别他的类型 #115
本文共计1048个文字，预计阅读时间需要5分钟。
原文链接：https://www.jianshu.com/p/80505fb72493
Java解析、生成带的Excel框架有Apache poi和jxl。但它们都存在一个严重的问题，那就是非常耗内存。Poi有一套SAX模式的API，可以一定程度上解决这个问题。
原文链接:www.jianshu.com/p/80505fb72493
Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但POI还是有一些缺陷，比如07版Excel解压缩以及解压后存储都是在内存中完成的，内存消耗依然很大。
easyexcel重写了poi对07版Excel的解析，能够原本一个3M的excel用POI sax依然需要100M左右内存降低到KB级别，并且再大的excel不会出现内存溢出，03版依赖POI的sax模式。在上层做了模型转换的封装，让使用者更加简单方便
ps: 其实本人并没有对比过POI，只是网络上资料都有这么一说，再对比了GitHub的star数，最后直接选用了EasyExcel
本文介绍一下，如何使用实体映射关系直接读取Excel数据
数据准备假设需要读取的数据如下：
Excel数据 定义实体类
首先定义实体类User，需要继承BaseRowModel
@Data
public class User extends BaseRowModel {
@ExcelProperty(value = "姓名", index = 0)
private String name;
@ExcelProperty(value = "昵称", index = 1)
private String nickName;
@ExcelProperty(value = "密码", index = 2)
private String password;
//不支持LocalDate
@ExcelProperty(value = "生日", index = 3, format = "yyyy/MM/dd")
private Date birthday;
}
数据读取监听类日期类型不支持LocalDate，只能是Date
- 继承
AnalysisEventListener并要求泛型类是BaseRowModel的子类
@Slf4j
public class ExcelListener<T extends BaseRowModel> extends AnalysisEventListener<T> {
private final List<T> rows = new ArrayList<>();
@Override
public void invoke(T object, AnalysisContext context) {
rows.add(object);
}
@Override
public void doAfterAllAnalysed(AnalysisContext context) {
log.info("read {} rows %n", rows.size());
}
public List<T> getRows() {
return rows;
}
}
Excel读写工具类实现的比较直接，就是全部读取到List后再处理
实现Excel数据的读取和写入
@Slf4j
public final class ExcelUtil {
/**
* 从Excel中读取文件，读取的文件是一个DTO类，该类必须继承BaseRowModel
* 具体实例参考 ： MemberMarketDto.java
* 参考：github.com/alibaba/easyexcel
* 字符流必须支持标记，FileInputStream 不支持标记，可以使用BufferedInputStream 代替
* BufferedInputStream bis = new BufferedInputStream(new FileInputStream(...));
*/
public static <T extends BaseRowModel> List<T> readExcel(final InputStream inputStream, final Class<? extends BaseRowModel> clazz) {
if (null == inputStream) {
throw new NullPointerException("the inputStream is null!");
}
ExcelListener<T> listener = new ExcelListener<>();
// 这里因为EasyExcel-1.1.1版本的bug，所以需要选用下面这个标记已经过期的版本
ExcelReader reader = new ExcelReader(inputStream, valueOf(inputStream), null, listener);
reader.read(new com.alibaba.excel.metadata.Sheet(1, 1, clazz));
return listener.getRows();
}
public static void writeExcel(final File file, List<? extends BaseRowModel> list) {
try (OutputStream out = new FileOutputStream(file)) {
ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);
//写第一个sheet, 有模型映射关系
Class<? extends BaseRowModel> t = list.get(0).getClass();
Sheet sheet = new Sheet(1, 0, t);
writer.write(list, sheet);
writer.finish();
} catch (IOException e) {
log.warn("fail to write to excel file: file[{}]", file.getName(), e);
}
}
/**
* 根据输入流，判断为xls还是xlsx，该方法原本存在于easyexcel 1.1.0 的ExcelTypeEnum中。
*/
public static ExcelTypeEnum valueOf(InputStream inputStream) {
try {
FileMagic fileMagic = FileMagic.valueOf(inputStream);
if (FileMagic.OLE2.equals(fileMagic)) {
return ExcelTypeEnum.XLS;
}
if (FileMagic.OOXML.equals(fileMagic)) {
return ExcelTypeEnum.XLSX;
}
throw new IllegalArgumentException("excelTypeEnum can not null");
} catch (IOException e) {
throw new RuntimeException(e);
}
}
}
实用类
public class EasyexcelApplication {
public static void main(String[] args) {
try (FileInputStream inputStream = new FileInputStream("user.xlsx")) {
List<User> users = ExcelUtil.readExcel(new BufferedInputStream(inputStream), User.class);
System.out.println(users);
} catch (IOException e) {
e.printStackTrace();
}
}
}
注意事项
- 日期类型只支持Date，不支持LocalDate和LocalDateTime
NotOfficeXmlFileException: No valid entries or contents found, this is not a valid OOXML (Office Open XML) file：这个是1.1.1的bug，在1.1.2-beta2中已经处理，暂时解决的办法就是使用过期的方法
new ExcelReader(inputStream, ExcelTypeEnum.XLSX, null, listener)
java.io.IOException: getFileMagic() only operates on streams which support mark(int)：因为FileInputStream不支持标记，可以使用BufferedInputStream代替
BufferedInputStream bis = new BufferedInputStream(new FileInputStream(...));
参考
- 使用easyexcel读写Excel
- 解析excel 用推荐的ExcelReader不传ExcelTypeEnum的方法 就无法识别他的类型 #115