mybatis的sqlSessionTemplate批量数据插入
一、简单步骤分析
①引入SqlSessionTemplate
②根据需求写一个批量处理的方法(关掉自动提交,批次commit)
③将需要插入的数据(list),传入批处理方法中处理
二、实战场景带入
①引入SqlSessionTemplate
@Autowired private SqlSessionTemplate sqlSessionTemplate; @Autowired private JourMapper jourMapper;
*②根据需求写一个批量处理的方法(关掉自动提交,批次commit)
private void insertBatchData(List<JourEntity> list) { //批量插入数据,通过sqlSession工厂类处理,openSession(ExecutorType.BATCH, false)选择批次提交,关掉自动提交 SqlSession sqlSession = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false); try { //指定mybatis的具体Mapper类 JourMapper jourMapper = sqlSession.getMapper(JourMapper.class); AtomicInteger atomicInteger = new AtomicInteger(); for (int i = 0; i < list.size(); i++) { jourMapper.insert(list.get(i)); if (i % 500 == 0 || i == list.size() - 1) { //每1000条数据,手动提交一次,提交后的数据无法回滚 sqlSession.commit(); //积累数据量太多容易导致内存溢出,所以每次提交后清理缓存,防止溢出 sqlSession.clearCache(); atomicInteger.incrementAndGet(); log.info("当前提交批次为:"+atomicInteger.get()); } } } catch (Exception e) { log.info("批量插入失败:"+e); //未提交的数据可以回滚 sqlSession.rollback(); } finally { sqlSession.close(); } }
③将需要插入的数据(list),传入批处理方法中处理
@Scheduled(cron = "${crontab}")//定时任务crontab表达式 public void insertBatchMsg() { //组装数据 List<JourEntity> list = new ArrayList(); for (int i = 10000000; i < 10100000; i++) { JourEntity detail = new JourEntity(); detail.setAccDate("20220315"); detail.setAccTime("000101"); detail.setMerchantNum("11011011"); detail.setOrderAmt("0.01"); String strId = String.valueOf(SnowflakeIdWorker.generateId()); detail.setOrderNum(strId); //log.info("-------OrderNum------:"+strId); detail.setUserNum(String.valueOf(i)); //log.info("-------UserNum------:"+String.valueOf(i)); list.add(detail); } //批量插入 insertBatchData(list); }
*注:JourEntity是一个普通实体类,JourMapper是一个普通业务所需的mapper接口
下一篇:
JDBC详解(一):JDBC概述