目录

• 前言
• 一、前期准备
  
• 1.1 表结构
• 1.2 项目配置文件
  
• 1.3 实体类
  
• 二、反复执行单条插入语句
• 2.1 对应 mapper 接口
  
• 2.2 测试方法
• 三、foreach 拼接SQL
  
• 3.1 对应mapper 接口
  
• 3.2 测试方法
• 3.3 执行时间
• 四、批处理
• 4.1 rewriteBatchedStatements 参数
• 4.2 批处理准备
• 4.3 执行时间
• 4.4 如果数据更大
  
• 五、总结

前言 批处理数据主要有三种方式：

• 反复执行单条插入语句
• foreach 拼接 sql
• 批处理

一、前期准备
基于Spring Boot + Mysql，同时为了省略get/set，使用了lombok，详见pom.xml。

1.1 表结构
id 使用数据库自增。

DROP TABLE IF EXISTS `user_info_batch`; CREATE TABLE `user_info_batch` (`id` bigint(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键id',`user_name` varchar(100) NOT NULL COMMENT '账户名称',`pass_word` varchar(100) NOT NULL COMMENT '登录密码',`nick_name` varchar(30) NOT NULL COMMENT '昵称',`mobile` varchar(30) NOT NULL COMMENT '手机号',`email` varchar(100) DEFAULT NULL COMMENT '邮箱地址',`gmt_create` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',`gmt_update` timestamp NULL DEFAULT NULL COMMENT '更新时间',PRIMARY KEY (`id`) USING BTREE) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 ROW_FORMAT=DYNAMIC COMMENT 'Mybatis Batch';

1.2 项目配置文件

细心的你可能已经发现，数据库url 后面跟了一段 rewriteBatchedStatements=true，有什么用呢？先不急，后面会介绍。

# 数据库配置spring:datasource:url: jdbc:mysql://47.111.118.152:3306/mybatis?rewriteBatchedStatements=trueusername: mybatispassword: passworddriver-class-name: com.mysql.cj.jdbc.Driver# mybatismybatis:mapper-locations: classpath:mapper/*.xmltype-aliases-package: cn.van.mybatis.batch.entity

1.3 实体类

@Data@Accessors(chain = true)public class UserInfoBatchDO implements Serializable {private Long id; private String userName; private String passWord; private String nickName; private String mobile; private String email; private LocalDateTime gmtCreate; private LocalDateTime gmtUpdate; }

1.4 UserInfoBatchMapper

public interface UserInfoBatchMapper {/** 单条插入* @param info* @return*/int insert(UserInfoBatchDO info); /*** foreach 插入* @param list* @return*/int batchInsert(List list); }

1.5 UserInfoBatchMapper.xml

insert into user_info_batch (user_name, pass_word, nick_name, mobile, email, gmt_create, gmt_update)values (#{userName,jdbcType=VARCHAR}, #{passWord,jdbcType=VARCHAR},#{nickName,jdbcType=VARCHAR}, #{mobile,jdbcType=VARCHAR}, #{email,jdbcType=VARCHAR}, #{gmtCreate,jdbcType=TIMESTAMP}, #{gmtUpdate,jdbcType=TIMESTAMP})insert into user_info_batch (user_name, pass_word, nick_name, mobile, email, gmt_create, gmt_update)values(#{item.userName,jdbcType=VARCHAR}, #{item.passWord,jdbcType=VARCHAR}, #{item.nickName,jdbcType=VARCHAR}, #{item.mobile,jdbcType=VARCHAR}, #{item.email,jdbcType=VARCHAR}, #{item.gmtCreate,jdbcType=TIMESTAMP}, #{item.gmtUpdate,jdbcType=TIMESTAMP})

1.6 预备数据
为了方便测试，抽离了几个变量，并进行提前加载。

private List list = new ArrayList<>(); private List lessList = new ArrayList<>(); private List lageList = new ArrayList<>(); private List warmList = new ArrayList<>(); // 计数工具private StopWatch sw = new StopWatch();

为了方便组装数据，抽出了一个公共方法。

private List assemblyData(int count){List list = new ArrayList<>(); UserInfoBatchDO userInfoDO; for (int i = 0; i < count; i++){userInfoDO = new UserInfoBatchDO().setUserName("Van").setNickName("风尘博客").setMobile("17098705205").setPassWord("password").setGmtUpdate(LocalDateTime.now()); list.add(userInfoDO); }return list; }

预热数据

@Beforepublic void assemblyData() {list = assemblyData(200000); lessList = assemblyData(2000); lageList = assemblyData(1000000); warmList = assemblyData(5); }

二、反复执行单条插入语句 可能‘懒'的程序员会这么做，很简单，直接在原先单条insert语句上嵌套一个for循环。

2.1 对应 mapper 接口

int insert(UserInfoBatchDO info);

2.2 测试方法
因为这种方法太慢，所以数据降低到 2000 条

@Testpublic void insert() {log.info("【程序热身】"); for (UserInfoBatchDO userInfoBatchDO : warmList) {userInfoBatchMapper.insert(userInfoBatchDO); }log.info("【热身结束】"); sw.start("反复执行单条插入语句"); // 这里插入 20w 条太慢了，所以我只插入了 2000 条for (UserInfoBatchDO userInfoBatchDO : lessList) {userInfoBatchMapper.insert(userInfoBatchDO); }sw.stop(); log.info("all cost info:{}",sw.prettyPrint()); }

2.3 执行时间
第一次

-----------------------------------------ms%Task name-----------------------------------------59887100%反复执行单条插入语句

第二次

-----------------------------------------ms%Task name-----------------------------------------64853100%反复执行单条插入语句

【MyBatis批量插入的几种方式效率比较】第三次

-----------------------------------------ms%Task name-----------------------------------------58235100%反复执行单条插入语句

该方式插入2000 条数据，执行三次的平均时间：60991 ms。

三、foreach 拼接SQL

3.1 对应mapper 接口

int batchInsert(List list);

3.2 测试方法
该方式和下一种方式都采用20w条数据测试。

@Testpublic void batchInsert() {log.info("【程序热身】"); for (UserInfoBatchDO userInfoBatchDO : warmList) {userInfoBatchMapper.insert(userInfoBatchDO); }log.info("【热身结束】"); sw.start("foreach 拼接 sql"); userInfoBatchMapper.batchInsert(list); sw.stop(); log.info("all cost info:{}",sw.prettyPrint()); }

3.3 执行时间
第一次

-----------------------------------------ms%Task name-----------------------------------------18835100%foreach 拼接 sql

第二次

-----------------------------------------ms%Task name-----------------------------------------17895100%foreach 拼接 sql

第三次

-----------------------------------------ms%Task name-----------------------------------------19827100%foreach 拼接 sql

该方式插入20w 条数据，执行三次的平均时间：18852 ms。

四、批处理 该方式 mapper 和xml 复用了 2.1。

4.1 rewriteBatchedStatements 参数
我在测试一开始，发现改成 Mybatis Batch提交的方法都不起作用，实际上在插入的时候仍然是一条条记录的插，而且速度远不如原来 foreach 拼接SQL的方法，这是非常不科学的。
后来才发现要批量执行的话，连接URL字符串中需要新增一个参数：rewriteBatchedStatements=true

• rewriteBatchedStatements参数介绍

MySql的JDBC连接的url中要加rewriteBatchedStatements参数，并保证5.1.13以上版本的驱动，才能实现高性能的批量插入。MySql JDBC驱动在默认情况下会无视executeBatch()语句，把我们期望批量执行的一组sql语句拆散，一条一条地发给MySql数据库，批量插入实际上是单条插入，直接造成较低的性能。只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL。这个选项对INSERT/UPDATE/DELETE都有效。

4.2 批处理准备
手动注入 SqlSessionFactory

@Resourceprivate SqlSessionFactory sqlSessionFactory;

测试代码

@Testpublic void processInsert() {log.info("【程序热身】"); for (UserInfoBatchDO userInfoBatchDO : warmList) {userInfoBatchMapper.insert(userInfoBatchDO); }log.info("【热身结束】"); sw.start("批处理执行 插入"); // 打开批处理SqlSession session = sqlSessionFactory.openSession(ExecutorType.BATCH); UserInfoBatchMapper mapper = session.getMapper(UserInfoBatchMapper.class); for (int i = 0,length = list.size(); i < length; i++) {mapper.insert(list.get(i)); //每20000条提交一次防止内存溢出if(i%20000==19999){session.commit(); session.clearCache(); }}session.commit(); session.clearCache(); sw.stop(); log.info("all cost info:{}",sw.prettyPrint()); }

4.3 执行时间
第一次

-----------------------------------------ms%Task name-----------------------------------------09346100%批处理执行 插入

第二次

-----------------------------------------ms%Task name-----------------------------------------08890100%批处理执行 插入

第三次

-----------------------------------------ms%Task name-----------------------------------------09042100%批处理执行 插入

该方式插入20w 条数据，执行三次的平均时间：9092 ms。

4.4 如果数据更大

当我把数据扩大到 100w 时，foreach 拼接 sql 的方式已经无法完成插入了，所以我只能测试批处理的插入时间。

测试时，仅需将 【4.2】测试代码中的 list 切成 lageList 测试即可。

第一次

-----------------------------------------ms%Task name-----------------------------------------32419100%批处理执行 插入

第二次

-----------------------------------------ms%Task name-----------------------------------------31935100%批处理执行 插入

第三次

-----------------------------------------ms%Task name-----------------------------------------33048100%批处理执行 插入

该方式插入100w 条数据，执行三次的平均时间：32467 ms。

五、总结

批量插入方式	数据量	执行三次的平均时间
循环插入单条数据	2000	60991 ms
foreach 拼接sql	20w	18852 ms
批处理	20w	9092 ms
批处理	100w	32467 ms

1. 循环插入单条数据虽然效率极低，但是代码量极少，数据量较小时可以使用，但是数据量较大禁止使用，效率太低了；
2. foreach 拼接sql的方式，使用时有大段的xml和sql语句要写，很容易出错，虽然效率尚可，但是真正应对大量数据的时候，依旧无法使用，所以不推荐使用；
3. 批处理执行是有大数据量插入时推荐的做法，使用起来也比较方便。

【本文示例代码】
到此这篇关于MyBatis批量插入的几种方式效率比较的文章就介绍到这了,更多相关MyBatis批量插入效率比较内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

推荐阅读

• 

  玮驰的寓意
• 

  刺客信条英灵殿蛋白石怎么刷 刺客信条英灵殿蛋白石怎么得
• 

  薰衣草如何催芽及播种 薰衣草种子怎么催芽
• 

  萝卜可以冷冻保存吗
• 

  法国十大喜剧电影排行榜 10部笑到崩溃的电影
• 

  耳鸣了要注意什么
• 

  鲁大师设置开机自启动的两种操作教程是什么 鲁大师设置开机自启动的两种操作教程
• 

  过桥米线的来历和典故 过桥米线有什么典故
• 

  二驴为什么封号一年 二驴为什么被全网封
• 

  玫瑰有什么特点
• 

  如何实现长期持有工行个人账户原油
• 

  中国古代最早的银行叫什么
• 

  关于古代的天气的句子
• 

  nginx+wordpress配置出现的一些异常和解决
• 

  微博怎么显示手机型号是灰色 微博怎么显示手机型号
• 

  佰仟分期购上征信吗？逾期了怎么办？
• 

  oppoa5录屏在哪（oppoa5录屏在什么位置）
• 

  包含homsteadthinkphp5的词条
• 

  mysql数据删除语句 mysql删出空的数据
• 

  海尔平板电脑屏幕花屏的原因

• 关于QueryWrapper|关于QueryWrapper,实现MybatisPlus多表关联查询方式
• mybatisplus如何在xml的连表查询中使用queryWrapper
• mybatisplus|mybatisplus where QueryWrapper加括号嵌套查询方式
• MybatisPlus|MybatisPlus LambdaQueryWrapper使用int默认值的坑及解决
• MybatisPlus使用queryWrapper如何实现复杂查询
• MyBatis|MyBatis Generator配置
• Mybatis|Mybatis Plus 分页插件
• Arcgis根据经纬度批量提取属性值
• Mybatis（一）
• 被mybatis-generator-gui-0.6.1报错坑到的那些事（二）