当前位置：首页 > news >正文

深入解析MyBatisPlus批量插入性能瓶颈与优化实战

news 2026/6/11 22:18:49

1. MyBatisPlus批量插入的性能陷阱

第一次用MyBatisPlus的saveBatch方法时，我以为找到了批量插入的终极解决方案。直到某天凌晨3点收到报警短信，看到监控图表上那条直冲天花板的数据库响应曲线，才发现自己掉进了"伪批量插入"的坑里。当时我们的物联网平台每秒要处理上千条传感器数据，理论上1500条/批的插入操作应该很轻松，结果MySQL服务器CPU直接飙到100%。

打开MyBatisPlus 3.4.3的源码，saveBatch方法的真面目让人哭笑不得：

public boolean saveBatch(Collection<T> entityList, int batchSize) { return executeBatch(entityList, batchSize, (sqlSession, entity) -> { sqlSession.insert(sqlStatement, entity); }); }

这哪里是批量插入？分明是把List拆成单个对象循环insert！虽然通过sqlSession.flushStatements()做了分批提交，但本质上还是在用单条SQL反复操作。就像用卡车运沙子，表面上看是一车一车地拉，实际上每次只运一粒沙。

真正的性能杀手在于JDBC的默认行为。即使你配置了batchSize，MySQL驱动在不开启rewriteBatchedStatements参数时，会把executeBatch()自动拆解成单条语句执行。这就好比你去快餐店点10个汉堡，服务员不是一次性给你，而是做完一个递一个，再做一个再递一个...

2. 揭开rewriteBatchedStatements的神秘面纱

在JDBC连接串加上rewriteBatchedStatements=true后，奇迹发生了。同样的5万条数据，插入时间从15秒降到3秒。这个参数到底对SQL做了什么魔法？

开启后，JDBC驱动会把多条INSERT语句重写成单条多值语法：

/* 改写前 */ INSERT INTO user(name) VALUES('a'); INSERT INTO user(name) VALUES('b'); /* 改写后 */ INSERT INTO user(name) VALUES('a'),('b');

但要注意三个关键点：

驱动版本：必须使用MySQL Connector/J 5.1.13以上
批处理大小：建议每批1000-3000条，太大反而会降低性能
事务控制：批量操作要放在同一个事务中，避免自动提交

我在测试环境做了组对比实验：

参数配置	5万条数据耗时	网络请求次数
默认参数	15.2s	50000
仅rewriteBatchedStatements	3.1s	50
全优化配置	2.7s	1

3. 真正的批量插入方案

rewriteBatchedStatements只是解决了JDBC层的问题，MyBatisPlus自身的saveBatch仍然存在循环插入的缺陷。好在官方提供了InsertBatchSomeColumn注入器，这才是SQL层面的真批量插入。

实现步骤比想象中简单：

3.1 自定义SQL注入器

public class MySqlInjector extends DefaultSqlInjector { @Override public List<AbstractMethod> getMethodList(Class<?> mapperClass) { List<AbstractMethod> methodList = super.getMethodList(mapperClass); methodList.add(new InsertBatchSomeColumn( field -> field.getFieldFill() != FieldFill.UPDATE)); return methodList; } }

3.2 扩展BaseMapper接口

public interface CommonMapper<T> extends BaseMapper<T> { int insertBatchSomeColumn(@Param("list") List<T> batchList); }

3.3 配置类注册注入器

@Configuration public class MybatisPlusConfig { @Bean public MySqlInjector sqlInjector() { return new MySqlInjector(); } }

现在你的Mapper就拥有了真正的批量插入能力。看下SQL日志会发现本质区别：

-- saveBatch生成的SQL INSERT INTO user(name) VALUES('a'); INSERT INTO user(name) VALUES('b'); -- insertBatchSomeColumn生成的SQL INSERT INTO user(name) VALUES('a'),('b');

4. 高并发场景下的分批策略

直接使用insertBatchSomeColumn有个致命问题——它不支持分批插入。当你要插入10万条数据时，会生成包含10万个VALUES的超级SQL，很可能超过MySQL的max_allowed_packet限制。

参考MyBatisPlus的saveBatch思路，我改造了个支持分批的增强版：

@Transactional(rollbackFor = Exception.class) public boolean saveBatchEnhanced(Collection<T> entityList, int batchSize) { List<T> batchList = new ArrayList<>(); int count = 0; for (T entity : entityList) { batchList.add(entity); if (++count % batchSize == 0 || count == entityList.size()) { baseMapper.insertBatchSomeColumn(batchList); batchList.clear(); } } return true; }

这个方案结合了两种优势：