EXCEL大数据导出(100W条)
EXCEL导出,如果说上了数十万条,那么走内存直接一次性导出相当的困难,我本地的内存调的相对较小,所以大概5-6万条就不行了,我在createCell加了一个输出语句,循环到5-6万条,就会非常非常慢,每次createCell一次,需要5-10S,后面会越来越慢。解决这种事情,一般的解决思路是,每次到一定量的数据就输出到一个文件,最后汇总成一个文件。POI提供了SXSSFWorkbook,判断一下,然后直接利用多态的思想,进行类的绑定,对于我们这些程序员来说还是非常方便的。
Workbook workbook;
if(arlist.size()<50000){ workbook = new XSSFWorkbook(); }else{ workbook = new SXSSFWorkbook(); }
将一定的两的数据输出到一个文件,最后汇总,当然这是有很多可以优化的地方,我看一下,POI的写法,它是压缩了文件,然后最后write的时候进行解压,如果不进行压缩直接进行读取,效率可能会更高,但是相对临时空间可能需要更大,下面是POI的write中调用InjectData的代码
private void injectData(File zipfile, OutputStream out) throws IOException { ZipFile zip = new ZipFile(zipfile); try { ZipOutputStream zos = new ZipOutputStream(out); try { @SuppressWarnings("unchecked") Enumeration<ZipEntry> en = (Enumeration<ZipEntry>) zip.entries(); while (en.hasMoreElements()) { ZipEntry ze = en.nextElement(); zos.putNextEntry(new ZipEntry(ze.getName())); InputStream is = zip.getInputStream(ze); XSSFSheet xSheet=getSheetFromZipEntryName(ze.getName()); if(xSheet!=null) { SXSSFSheet sxSheet=getSXSSFSheet(xSheet); InputStream xis = sxSheet.getWorksheetXMLInputStream(); try { copyStreamAndInjectWorksheet(is,zos,xis); } finally { xis.close(); } } else { copyStream(is, zos); } is.close(); } } finally { zos.close(); } } finally { zip.close(); } }
上一篇:
JS实现多线程数据分片下载
下一篇:
javaSE基础之流程控制语句