1. 百万级Excel导出性能优化实战最近在金融行业做数据中台项目时遇到了一个棘手问题客户需要从系统导出包含百万行数据的Excel报表。最初版本导出50万行数据需要近20分钟内存占用高达4GB还频繁出现OOM崩溃。经过两周的调优最终实现百万行数据15秒导出内存稳定在500MB以内。分享三个关键优化技巧都是踩坑后总结的实战经验。2. 核心问题诊断与分析2.1 传统导出方案的性能瓶颈常规POI导出方案存在三大致命缺陷内存消耗指数增长每个单元格对象都占用独立内存空间百万行数据会产生数千万个对象重复对象创建开销样式对象重复创建且未复用占用了30%以上的内存全量数据加载查询和导出耦合必须等待全部数据加载完成才能开始写入实测数据导出50万行x20列数据时SXSSFWorkbook内存占用达到3.2GB而优化后方案仅需300MB2.2 性能优化技术选型对比三种主流方案后选择SXSSFWorkbookXSSFWorkbook全内存操作百万行直接OOMCSV导出虽然轻量但丢失格式和公式SXSSFWorkbookApache POI的流式API通过滑动窗口机制控制内存占用// 创建时指定滑动窗口大小 SXSSFWorkbook workbook new SXSSFWorkbook(100); // 保留100行在内存3. 三大核心优化技巧实现3.1 分页流式查询与写入关键技术点使用MyBatis的Cursor游标避免全量加载采用Spring Batch的分页处理器机制每处理1000行立即flush到磁盘Transactional(readOnlytrue) public void exportLargeData(OutputStream outputStream) { try (CursorDataRecord cursor mapper.selectLargeData()) { SXSSFWorkbook workbook new SXSSFWorkbook(100); Sheet sheet workbook.createSheet(); int rowNum 0; for (DataRecord record : cursor) { Row row sheet.createRow(rowNum); // 填充单元格数据 if(rowNum % 1000 0) { ((SXSSFSheet)sheet).flushRows(100); // 刷盘 } } workbook.write(outputStream); } }3.2 样式对象池化复用优化效果样式对象减少98%内存占用导出速度提升40%// 样式池实现 public class StylePool { private static MapString, CellStyle pool new ConcurrentHashMap(); public static CellStyle getStyle(SXSSFWorkbook workbook, String styleKey) { return pool.computeIfAbsent(styleKey, k - { CellStyle style workbook.createCellStyle(); // 样式配置... return style; }); } }3.3 异步压缩与分块传输技术组合采用GZIPOutputStream进行流式压缩结合HTTP的chunked编码分块传输前端通过Blob对象接收GetMapping(/export) public void export(HttpServletResponse response) { response.setHeader(Content-Encoding, gzip); response.setHeader(Transfer-Encoding, chunked); try (OutputStream out response.getOutputStream(); GZIPOutputStream gzipOut new GZIPOutputStream(out)) { exportService.exportLargeData(gzipOut); } }4. 性能对比与调优参数4.1 不同方案基准测试方案类型50万行耗时内存峰值文件大小传统XSSF18分钟3.8GB92MB基础SXSSF2分钟1.2GB89MB优化后方案35秒450MB28MB4.2 关键参数调优建议滑动窗口大小100-500行平衡内存与IO过大导致内存压力过小增加IO次数刷盘频率每1000行flush一次配合数据库fetchSize参数JVM参数-XX:UseG1GC -Xms512m -Xmx1g -Dorg.apache.poi.util.POILoggerorg.apache.poi.util.NullLogger5. 典型问题排查实录5.1 内存泄漏场景现象导出10次后OOM原因SXSSFWorkbook未正确dispose解决finally { if(workbook ! null) { workbook.dispose(); // 删除临时文件 } }5.2 样式错乱问题现象合并单元格样式失效排查检查样式池的key生成逻辑验证是否线程安全方案// 使用ThreadLocal保证线程安全 private ThreadLocalMapString, CellStyle styleCache ThreadLocal.withInitial(HashMap::new);5.3 网络中断处理增强方案实现断点续传添加CRC校验超时重试机制response.setHeader(Content-Disposition, attachment; filename\report.xlsx\; filename*utf-8report.xlsx);6. 扩展优化方向前端优化Web Worker处理大文件下载进度条实时显示const blob new Blob([response.data]); const link document.createElement(a); link.href URL.createObjectURL(blob);服务端增强基于Redis的导出任务队列结果文件OSS存储异步通知机制格式优化使用Excel的STREAMING_READER模式尝试Apache POI 5.2的新API在实际项目中建议先用1万行数据验证各环节性能逐步放大数据量测试。我们发现当单Sheet超过100万行时Excel客户端渲染会变慢这时可以考虑自动拆分为多个Sheet或文件。 
长河君 · 2026/11/2 11:34:36 · 阅读 1.2k 百万级Excel导出性能优化实战：从20分钟到15秒
1. 百万级Excel导出性能优化实战最近在金融行业做数据中台项目时遇到了一个棘手问题客户需要从系统导出包含百万行数据的Excel报表。最初版本导出50万行数据需要近20分钟内存占用高达4GB还频繁出现OOM崩溃。经过两周的调优最终实现百万行数据15秒导出内存稳定在500MB以内。分享三个关键优化技巧都是踩坑后总结的实战经验。2. 核心问题诊断与分析2.1 传统导出方案的性能瓶颈常规POI导出方案存在三大致命缺陷内存消耗指数增长每个单元格对象都占用独立内存空间百万行数据会产生数千万个对象重复对象创建开销样式对象重复创建且未复用占用了30%以上的内存全量数据加载查询和导出耦合必须等待全部数据加载完成才能开始写入实测数据导出50万行x20列数据时SXSSFWorkbook内存占用达到3.2GB而优化后方案仅需300MB2.2 性能优化技术选型对比三种主流方案后选择SXSSFWorkbookXSSFWorkbook全内存操作百万行直接OOMCSV导出虽然轻量但丢失格式和公式SXSSFWorkbookApache POI的流式API通过滑动窗口机制控制内存占用// 创建时指定滑动窗口大小 SXSSFWorkbook workbook new SXSSFWorkbook(100); // 保留100行在内存3. 三大核心优化技巧实现3.1 分页流式查询与写入关键技术点使用MyBatis的Cursor游标避免全量加载采用Spring Batch的分页处理器机制每处理1000行立即flush到磁盘Transactional(readOnlytrue) public void exportLargeData(OutputStream outputStream) { try (CursorDataRecord cursor mapper.selectLargeData()) { SXSSFWorkbook workbook new SXSSFWorkbook(100); Sheet sheet workbook.createSheet(); int rowNum 0; for (DataRecord record : cursor) { Row row sheet.createRow(rowNum); // 填充单元格数据 if(rowNum % 1000 0) { ((SXSSFSheet)sheet).flushRows(100); // 刷盘 } } workbook.write(outputStream); } }3.2 样式对象池化复用优化效果样式对象减少98%内存占用导出速度提升40%// 样式池实现 public class StylePool { private static MapString, CellStyle pool new ConcurrentHashMap(); public static CellStyle getStyle(SXSSFWorkbook workbook, String styleKey) { return pool.computeIfAbsent(styleKey, k - { CellStyle style workbook.createCellStyle(); // 样式配置... return style; }); } }3.3 异步压缩与分块传输技术组合采用GZIPOutputStream进行流式压缩结合HTTP的chunked编码分块传输前端通过Blob对象接收GetMapping(/export) public void export(HttpServletResponse response) { response.setHeader(Content-Encoding, gzip); response.setHeader(Transfer-Encoding, chunked); try (OutputStream out response.getOutputStream(); GZIPOutputStream gzipOut new GZIPOutputStream(out)) { exportService.exportLargeData(gzipOut); } }4. 性能对比与调优参数4.1 不同方案基准测试方案类型50万行耗时内存峰值文件大小传统XSSF18分钟3.8GB92MB基础SXSSF2分钟1.2GB89MB优化后方案35秒450MB28MB4.2 关键参数调优建议滑动窗口大小100-500行平衡内存与IO过大导致内存压力过小增加IO次数刷盘频率每1000行flush一次配合数据库fetchSize参数JVM参数-XX:UseG1GC -Xms512m -Xmx1g -Dorg.apache.poi.util.POILoggerorg.apache.poi.util.NullLogger5. 典型问题排查实录5.1 内存泄漏场景现象导出10次后OOM原因SXSSFWorkbook未正确dispose解决finally { if(workbook ! null) { workbook.dispose(); // 删除临时文件 } }5.2 样式错乱问题现象合并单元格样式失效排查检查样式池的key生成逻辑验证是否线程安全方案// 使用ThreadLocal保证线程安全 private ThreadLocalMapString, CellStyle styleCache ThreadLocal.withInitial(HashMap::new);5.3 网络中断处理增强方案实现断点续传添加CRC校验超时重试机制response.setHeader(Content-Disposition, attachment; filename\report.xlsx\; filename*utf-8report.xlsx);6. 扩展优化方向前端优化Web Worker处理大文件下载进度条实时显示const blob new Blob([response.data]); const link document.createElement(a); link.href URL.createObjectURL(blob);服务端增强基于Redis的导出任务队列结果文件OSS存储异步通知机制格式优化使用Excel的STREAMING_READER模式尝试Apache POI 5.2的新API在实际项目中建议先用1万行数据验证各环节性能逐步放大数据量测试。我们发现当单Sheet超过100万行时Excel客户端渲染会变慢这时可以考虑自动拆分为多个Sheet或文件。