前言 本文是对之前开发中遇到的问题的一个总结，文章其实早就写好，但是觉得自己写的不够深入，就让文章一直躺在草稿箱里。昨天突然想起来了，就将文章重新修改了一下，还是发出来吧！
问题1：框架生成的SQL字段重复 当时我在开发一个异常日志记录接口，其实业务流程很简单，就是前端提交错误日志到后台，后台接受到信息处理一番，然后插入数据库。因为这个接口的并发量比较高，为了不影响其他业务，并且同时提高响应的速度。于是采用 @Async 注解+ Spring线程池的方案来实现。线程池的配置如下：
1 2 <task:annotation-driven executor ="jobExecutor" /> <task:executor id ="jobExecutor" pool-size ="20" queue-capacity ="500" />
使用task:annotation-driven/ 开启异步时，一定要记得配置executor属性，不然异步使用的线程池其实是 org.springframework.core.task.SimpleAsyncTaskExecutor，但这个 SimpleAsyncTaskExecutor 不是真的线程池，这个类不重用线程，每次调用都会创建一个新的线程。
关键部分伪代码如下：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 @Async public void test () ExceptionLogEntity exceptionLogEntity = new ExceptionLogEntity(); exceptionLogEntity.setXX("" ); exceptionLogEntity.setXXX("" ); exceptionLogEntity.setIp("" ); exceptionLogEntity.setUrl("" ); exceptionLogEntity.setBusinessScene("" ); exceptionLogEntity.setExceptionType("" ); exceptionLogEntity.setExceptionDetailType("" ); exceptionLogEntity.setExceptionMessage("" ); exceptionLogEntity.setNoticeStatus("" ); exceptionLogEntity.setCreateTime(new Date()); exceptionLogEntity.setUpdateTime(new Date()); ExceptionLogEntity insert = exceptionLogDao.insert(exceptionLogEntity); log.info("实体的主键id=[{}]" , insert.getId()); }
代码写完我简单的测试了一下，没啥问题后就告知前端可以对接了。可是奇怪的事情发生了，前端老铁告诉我接口有时会返回错误。我一听就感觉不对劲，心想这么简单的接口，我怎么可能有bug。于是我到日志平台上查询了一下日志，结果还真的是有问题。发现了一个SQL错误，具体错误如下(敏感信息已经处理)：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 Caused by: java.lang.reflect.InvocationTargetException INSERT INTO `xx` (`xx` ,`xx` ,`ip` ,`url` ,`business_scene` ,`exception_type` ,`exception_detail_type` ,`exception_message` ,`notice_status` ,`create_time` ,`update_time` ,`xx` ,`member_phone` ,`ip` ,`url` ,`business_scene` ,`exception_type` ,`exception_detail_type` ,`exception_message` ,`notice_status` ,`create_time` ,`update_time` ) VALUES ('' ,'' ,'' ,'' ,'' ,'' ,'' ,'' ,'' ,'2020-01-08 19 at sun.reflect.GeneratedMethodAccessor115.invoke(Unknown Source) -------------------------------------------- at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at coderead.mybatis.log.JdbcCommonCollects$PreparedStatementHandler.invoke(JdbcCommonCollects.java:118) ... 21 more Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Column ' update_time' specified twice at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at com.mysql.jdbc.Util.handleNewInstance(Util.java:425)
复现问题 这个问题简单的来说就是SQL中的字段发生了重复，Column 'update_time' specified twice。其实不止update_time字段发生了重复，是很多字段都发生了重复。因为这个接口除了并发高一点之外，和其他的接口没有什么特别之处！突然我脑子里灵光一闪，难道是这个接口并发较高，导致框架在生成INSERT类型的SQL发生了错误？？？要是这样的话，我直接创造一个这样的场景不就可以实现了嘛！然后我写下了下面的代码：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 public void test () for (int i = 0 ; i < 1000 ; i++) { ExceptionLogEntity exceptionLogEntity = new ExceptionLogEntity(); exceptionLogEntity.setXX("" ); exceptionLogEntity.setXXX("" ); exceptionLogEntity.setIp("" ); exceptionLogEntity.setUrl("" ); exceptionLogEntity.setBusinessScene("" ); exceptionLogEntity.setExceptionType("" ); exceptionLogEntity.setExceptionDetailType("" ); exceptionLogEntity.setExceptionMessage("" ); exceptionLogEntity.setNoticeStatus("" ); exceptionLogEntity.setCreateTime(new Date()); exceptionLogEntity.setUpdateTime(new Date()); Thread thread = new Thread(() -> { exceptionLogDao.insert(exceptionLogEntity); }); thread.start(); } }
代码写完直接重启项目，最后一触发上面的代码。果然，同样的错误又出现了。这里我先介绍下使用的ORM框架：
此ORM框架是集团O2O研发中心研发的基础组件，提供同Mybatis一样的功能：只需定义接口，无需写实现类。此外，对单表操作还封装了一套常用的增删改查处理，连接口也无需再定义，对开发人员非常友好，大大降低了冗长的jdbc操作代码量，提升了开发效率。
我问了问旁边的同事，在使用公司的ORM框架自带的INSERT方法时，有没有遇到SQL列重复的问题吗?嘿你还别说，大家异口同声说遇到过。那厉害了，看来这真的不是个别现象，真的是框架的bug。于是乎我花了一点时间来找找看到底是在哪个地方出现了问题，皇天不负有心人我还真的找到了，具体的代码如下：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 public List<DalColumn> getDalColumnsWithoutId () if (this .columnsWithoutId != null ) { return this .columnsWithoutId; } else { this .columnsWithoutId = new ArrayList(this .dalColumns.size() - 1 ); Iterator var1 = this .dalColumns.iterator(); while (var1.hasNext()) { DalColumn column = (DalColumn)var1.next(); if (!column.isIdColumn()) { this .columnsWithoutId.add(column); } } return this .columnsWithoutId; } }
问题就出在columnsWithoutId上，它的类型是List，是所在类的一个属性默认为null，保存的是一个表除主键ID之外的所有字段。上面的代码在单线程情况下没有问题，但是在多线程的情况下就问题大了。columnsWithoutId在多线程情况下就是一个线程共享变量，假设在某个时机有多个线程恰好执行到if代码块，发现columnsWithoutId的值为null，则就会同时执行else代码块，那这时就会执行多次循环，自然columnsWithoutId中的字段就会出现了重复。
解决问题 这个问题已经找到，那接下来就差一个解决方案了。
官方修复 我当时想既然这个框架是公司研发中心提供的基础组件，那就是说明在公司内部会有很多项目组使用，问题说不定早就被修复了。你还别说在公司的wiki上我还真的找到了，有位负责这个组件的大佬在wiki上分享了”单表插入偶发列重复问题定位与解决”的文章。(文章地址我就不发了，公司内部地址发出来你们也访问不了)文章里详细的描述了问题发生的场景（和我上面描述的差不多）、问题定位过程还有解决方案。摘选文章上的解决方案：
明确了是线程安全的问题，解决方案就好确定了，解决线程安全有三种方案：
大佬已经将bug修复并发布了新版本到Maven仓库，项目中有发生上述问题的，直接升级对应的组件版本即可。既然官方已经给出了解决方案，我直接升级项目中的组件版本号就行了。结果我一更换项目中的版本，我的项目就再也没有启动起来。研究发现，组件版本相差太多，很多依赖发生了冲突。我项目中使用的是1.1.6-RELEASE,问题官方在版本2.1.0-RELEASE中修复。这组件版本差距太大贸然升级肯定是有很大的风险了，于是我放弃了！
另辟蹊径解决 既然你自带的插入方法有问题，我直接自定义一个插入方法不就得了。惹不起我还躲不起么！我最后又问了同事们最后都是怎么解决的，大家也都说是自定义SQL，而且都不再用框架自带的方法了，大家都很聪明呀！（其实这个还有后续，后面有一期开发过程中，需要用到批量插入的功能，我又偷懒用了框架自带的batch方法，又把我给坑了。从那之后，我再也没有用自带的方法了……）
问题2：主键数据溢出 我再排查上面的问题的时候，在框架里面看到了下面的代码：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 private Number execute4PrimaryKey (String sqlId, Map<String, Object> paramMap, KeyHolder keyHolder) long startTimestamp = System.currentTimeMillis(); String sql = null ; Object var8; try { MappedStatement mappedStatement = this .configuration.getMappedStatement(sqlId, true ); mappedStmtThreadLocal.set(mappedStatement); sql = mappedStatement.getBoundSql(paramMap); int result = false ; int result; if (keyHolder != null ) { this .execution.update(sql, new MapSqlParameterSource(DalUtils.mapIfNull(paramMap)), keyHolder); result = keyHolder.getKey() == null ? 0 : keyHolder.getKey().intValue(); } else { result = this .execution.update(sql, DalUtils.mapIfNull(paramMap)); } Integer var9 = result; return var9; } catch (Exception var13) { this .throwException(var13); var8 = null ; } finally { mappedStmtThreadLocal.remove(); logger.debug("{} method:{}, sql:{}, param:{}" , new Object[]{this .logPrefix, "execute" , sql, paramMap}); this .logProfileLongTimeRunningSql(startTimestamp, sql, paramMap); } return (Number)var8; }
大家仔细看看，这上面的代码有个不容易发现的问题。问题是这样的，我们系统中表的主键类型定义的都是bigint,这个类型对应的是Java中的Long类型，说到这大家明白了么？对了，就是数据溢出的问题。
复现问题 我将表中的主键自增量设置为Java Int类型的最大值+1，也就是2147483648。然后数据库再新增一条记录，此时表中记录的主键是2147483648，但Java实体中的主键ID已经是个负数-2147483648了。
使用Long类型时，要注意JavaScript接收后端Long类型数据精度丢失问题
解决问题 这个问题还真不好另辟蹊径了，只能后面出现类似的问题，升级ORM框架的版本了。
问题3：共享变量并发问题 其实这个问题我应该在看那篇内部文章的时候就应该发现的，但我当时就是没有看出来！此时的我留下了没有技术的泪水。对于问题1，当时那位大佬最终采用synchronized进行加锁解决多线程情况下共享变量读写问题，具体代码如下（敏感信息打码）：
修改前的代码：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 public List<DalColumn> getDalColumnsWithoutId () if (this .columnsWithoutId != null ) { return this .columnsWithoutId; } else { this .columnsWithoutId = new ArrayList(this .dalColumns.size() - 1 ); Iterator var1 = this .dalColumns.iterator(); while (var1.hasNext()) { DalColumn column = (DalColumn)var1.next(); if (!column.isIdColumn()) { this .columnsWithoutId.add(column); } } return this .columnsWithoutId; } }
修改后的代码(引用文章中的代码截图)：
问题复现 这个问题要复现的话，不太好复现，因为情况是比较极端的，但是在复杂的生产环境还是很可能出现的。
举例说明：
假设有A、B两个线程，A线程执行到for循环处，B线程恰好执行到最开始的if判断处，由于此时的cloumnsWithId已经被A线程赋值，肯定不为null，然后线程B就直接返回了，导致B线程调用者获得了一个空的或者保存部分字段的cloumnsWithId。这种情况最终导致的结果是INSERT SQL中的字段缺失。
解决办法 对于多线程下的共享变量，我们一定要坚持读读可并行，读写要排队的原则。当然能不加锁的话，也是不错的选择。
我发现这个问题之后，就找到了前文中说的大佬，跟他反馈了我的想法，并提出我的解决方案。
直接在getDalColumnsWithoutId方法上添加 synchronized。
修改第一个if判断逻辑，然后使用synchronized锁代码块。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 public List<DalColumn> getDalColumnsWithoutId () int size = CollectionUtils.size(this .dalColumns); if (CollectionUtils.size(this .columnsWithoutId) == size && size > 0 ) { return this .columnsWithoutId; } synchronized (lock){ if (columnsWithoutId == null ) { columnsWithoutId = new ArrayList<>(size*2 ); } for (DalColumn column : this .dalColumns){ if (!column.isIdColumn()) { this .columnsWithoutId.add(column); } } } return this .columnsWithoutId; }
当时与大佬的沟通截图，来自大佬的肯定：
总结 在遇到问题的时候不要着急，一定要学会大胆假设，然后小心求证。要勇敢的质疑权威，不要认为既然已经是框架了就没有bug。例如Spring从当初的1.0到现在版本号都超过5.0了，除了给Spring增加新的功能，其他的升级就是在修复Spring中的bug。做出自己的假设之后，就要进行场景复现，一个正常的bug是可以不断的被复现的。复现了问题那就是找到问题的症结所在，剩下的就是如何去解决啦！
