10月22
一、问题
### Cause: java.sql.SQLException: Lock wait timeout exceeded; try restarting transaction;
现象:接口响应时间超长,耗时几十秒才返回错误提示,后台日志中出现Lock wait timeout exceeded; try restarting transaction的错误
二、原因分析
使用InnoDB表类型的时候,锁等待超过了innodb_lock_wait_timeout(默认是50s)设置的时间,所以报错
三、可能出现场景
1、在同一事务内先后对同一条数据进行插入和更新操作
2、多台服务器操作同一数据库
3、瞬时出现高并发现象,spring事务造成数据库死锁,后续操作超时抛出异常
4、事务A对记录C进行更新/删除操作的请求未commit时,事务B也对记录C进行更新/删除操作。此时,B会等A提交事务,释放行锁。当等待时间超过innodb_lock_wait_timeout设置值时,会产生“LOCK WAIT”事务。
四、解决方案
1、【治标方法】innodb_lock_wait_timeout 锁定等待时间改大
SELECT
@@innodb_lock_wait_timeout;
innodb_lock_wait_timeout = 50
修改为
SET @@innodb_lock_wait_timeout = 500;
innodb_lock_wait_timeout = 500
缺点:全局更改,影响也是全局的,等待时间加长,容易使等待事务增多导致堆积问题。
2、【治标方法】事务信息查询
SELECT * FROM information_schema.innodb_trx
查到一个一直没有提交的只读事务(trx_state=”LOCK WAIT”),找到对应线程,执行:
kill 线程ID(trx_mysql_thread_id)
3、【治标方法】如果杀掉线程依然不能解决,可以查找执行线程耗时比较久的任务,kill掉
SELECT * from information_schema.`PROCESSLIST` WHERE Time > 1000 AND USER = 'xxx' ORDER BY TIME desc;
kill 线程ID
4、【根本解决方法!】找到锁表的事务,分析锁表原因,进行优化。
实例:司机APP进行运单签收,需要对et_waybill_info表某些记录进行更新操作。一直处于锁等待状态,直到超时报错。
经排查,发现:系统定时器定时执行任务,将所有未标识亮的已装车或签收的运单,按批次处理,如果运单装车了但长时间未上传GPS、温湿度等信息,会一直被定时器处理。数据量越积越大,队列长时间等待,对et_waybill_info表锁住没有释放,致使签收要操作et_waybill_info表无法拿到锁,进行数据操作。
临时解决方案:停掉定时器任务
根本解决方案:优化定时器
五、预防措施
1、开始事务(@transtion)指定超时时 间
例:@Transactional( rollbackFor = Exception.class , isolation = Isolation.REPEATABLE_READ, timeout = 30)
2、事务中存在批量修改、删除语句的时候,where条件尽量加索引
3、事务中存在批量修改、删除语句的时候,尽可能减少事务的执行时间
4、减少并发线程数
六、相关信息
1、innodb_lock_wait_timeout和lock_wait_timeout
innodb_lock_wait_timeout:InnoDB事务等待一个行级锁的时间最长时间(单位是秒),超过这个时间就会放弃。默认值是50秒
lock_wait_timeout:获取元数据锁的超时时间。这个适合用于除了系统表之外的所有表(mysql库之外)。
区别于innodb_lock_wait_timeout是针对dml操作的行级锁的等待时间 ,而lock_wait_timeout是数据结构ddl操作的锁的等待时间
2、事务相关表
INNODB_TRX 当前运行的所有事务
INNODB_LOCKS 当前出现的锁,查看正在锁的事务
INNODB_LOCK_WAITS 锁等待的对应关系,查看等待锁的事务
3、information_schema和performance_schema
information_schema:对数据库元数据的抽象分析,由此提供了SQL语句方式来查询数据库运行时状态,每次对infomation_schema的查询都产生对metadata的互斥访问,影响其他数据库的访问性能。这张数据表保存了MySQL服务器所有数据库的信息。如数据库名,数据库的表,表栏的数据类型与访问权限等。
performance_schema:内存型数据库,使用performance_schema存储引擎,通过事件机制将mysql服务的运行时状态采集并存储在performance_schema数据库。用于监控MySQL server在一个较低级别的运行过程中的资源消耗、资源等待等情况。
七、总结
1、当看到mysql报错时,可以根据报错的信息及错误号去分析报错原因,然后冷静分析,透过现象看本质,从根本上解决问题。少用治标不治本的方案,还可能会带来其他问题。
2、了解了mysql里几张事务相关表
3、初识information_schema和performance_schema
### Cause: java.sql.SQLException: Lock wait timeout exceeded; try restarting transaction;
现象:接口响应时间超长,耗时几十秒才返回错误提示,后台日志中出现Lock wait timeout exceeded; try restarting transaction的错误
二、原因分析
使用InnoDB表类型的时候,锁等待超过了innodb_lock_wait_timeout(默认是50s)设置的时间,所以报错
三、可能出现场景
1、在同一事务内先后对同一条数据进行插入和更新操作
2、多台服务器操作同一数据库
3、瞬时出现高并发现象,spring事务造成数据库死锁,后续操作超时抛出异常
4、事务A对记录C进行更新/删除操作的请求未commit时,事务B也对记录C进行更新/删除操作。此时,B会等A提交事务,释放行锁。当等待时间超过innodb_lock_wait_timeout设置值时,会产生“LOCK WAIT”事务。
四、解决方案
1、【治标方法】innodb_lock_wait_timeout 锁定等待时间改大
SELECT
@@innodb_lock_wait_timeout;
innodb_lock_wait_timeout = 50
修改为
SET @@innodb_lock_wait_timeout = 500;
innodb_lock_wait_timeout = 500
缺点:全局更改,影响也是全局的,等待时间加长,容易使等待事务增多导致堆积问题。
2、【治标方法】事务信息查询
SELECT * FROM information_schema.innodb_trx
查到一个一直没有提交的只读事务(trx_state=”LOCK WAIT”),找到对应线程,执行:
kill 线程ID(trx_mysql_thread_id)
3、【治标方法】如果杀掉线程依然不能解决,可以查找执行线程耗时比较久的任务,kill掉
SELECT * from information_schema.`PROCESSLIST` WHERE Time > 1000 AND USER = 'xxx' ORDER BY TIME desc;
kill 线程ID
4、【根本解决方法!】找到锁表的事务,分析锁表原因,进行优化。
实例:司机APP进行运单签收,需要对et_waybill_info表某些记录进行更新操作。一直处于锁等待状态,直到超时报错。
经排查,发现:系统定时器定时执行任务,将所有未标识亮的已装车或签收的运单,按批次处理,如果运单装车了但长时间未上传GPS、温湿度等信息,会一直被定时器处理。数据量越积越大,队列长时间等待,对et_waybill_info表锁住没有释放,致使签收要操作et_waybill_info表无法拿到锁,进行数据操作。
临时解决方案:停掉定时器任务
根本解决方案:优化定时器
五、预防措施
1、开始事务(@transtion)指定超时时 间
例:@Transactional( rollbackFor = Exception.class , isolation = Isolation.REPEATABLE_READ, timeout = 30)
2、事务中存在批量修改、删除语句的时候,where条件尽量加索引
3、事务中存在批量修改、删除语句的时候,尽可能减少事务的执行时间
4、减少并发线程数
六、相关信息
1、innodb_lock_wait_timeout和lock_wait_timeout
innodb_lock_wait_timeout:InnoDB事务等待一个行级锁的时间最长时间(单位是秒),超过这个时间就会放弃。默认值是50秒
lock_wait_timeout:获取元数据锁的超时时间。这个适合用于除了系统表之外的所有表(mysql库之外)。
区别于innodb_lock_wait_timeout是针对dml操作的行级锁的等待时间 ,而lock_wait_timeout是数据结构ddl操作的锁的等待时间
2、事务相关表
INNODB_TRX 当前运行的所有事务
INNODB_LOCKS 当前出现的锁,查看正在锁的事务
INNODB_LOCK_WAITS 锁等待的对应关系,查看等待锁的事务
3、information_schema和performance_schema
information_schema:对数据库元数据的抽象分析,由此提供了SQL语句方式来查询数据库运行时状态,每次对infomation_schema的查询都产生对metadata的互斥访问,影响其他数据库的访问性能。这张数据表保存了MySQL服务器所有数据库的信息。如数据库名,数据库的表,表栏的数据类型与访问权限等。
performance_schema:内存型数据库,使用performance_schema存储引擎,通过事件机制将mysql服务的运行时状态采集并存储在performance_schema数据库。用于监控MySQL server在一个较低级别的运行过程中的资源消耗、资源等待等情况。
七、总结
1、当看到mysql报错时,可以根据报错的信息及错误号去分析报错原因,然后冷静分析,透过现象看本质,从根本上解决问题。少用治标不治本的方案,还可能会带来其他问题。
2、了解了mysql里几张事务相关表
3、初识information_schema和performance_schema
10月20
remote: The project you were looking for could not be found.
在使用Git客户端克隆和pull远程仓库的时候报错:提示找不到上游仓库,但是地址是正确的!
问题原因解析:
因为自己的项目不止一个 又有自动保存git密码的功能,当clone第二个项目的时候和之前的git用户不是同一个就会报这个错误!
解决方案:
在自己的项目路径上加上自己的用户名,
例如:
Git clone http://10.1.100.1:0000/credit/code/heck.git (失败)
Git clone http://用户名@10.1.100.1:0000/credit/code/heck.git(成功)
或者clear掉之前拉的项目保存的用户名和密码认证的数据。
在使用Git客户端克隆和pull远程仓库的时候报错:提示找不到上游仓库,但是地址是正确的!
问题原因解析:
因为自己的项目不止一个 又有自动保存git密码的功能,当clone第二个项目的时候和之前的git用户不是同一个就会报这个错误!
解决方案:
在自己的项目路径上加上自己的用户名,
例如:
Git clone http://10.1.100.1:0000/credit/code/heck.git (失败)
Git clone http://用户名@10.1.100.1:0000/credit/code/heck.git(成功)
或者clear掉之前拉的项目保存的用户名和密码认证的数据。
10月18
最近在维护一个几年前的项目,发现供应商报价本来为decimal类型保留两位小数的数据,结果通过ifnull后变成四舍五入保小一位小数了,排查了很久才现是由于ifnull函数引起的问题。
SELECT
IFNULL( (select CREATION_DATE from pur_bidding_supplier_line pbsl where pbsh.HEAD_ID = pbsl.HEAD_ID order by CREATION_DATE desc LIMIT 1 ) , pbsh.CREATION_DATE) as CREATION_DATE,
IFNULL((select LINE_ID from pur_bidding_supplier_line pbsl where pbsh.HEAD_ID = pbsl.HEAD_ID order by CREATION_DATE desc LIMIT 1 ) ,0) as LINE_ID,
CONVERT(IFNULL((select QUOTED_PRICE from pur_bidding_supplier_line pbsl where pbsh.HEAD_ID = pbsl.HEAD_ID order by CREATION_DATE desc LIMIT 1 ),99999999999999999999999),decimal(20,2)) as QUOTED_PRICE,
pbsh.SUPPLIER_ID,
ps.SUPPLIER_NAME,
pe.PRO_ID ,
( select glook from pur_program p where p.pro_id=pe.PRO_ID) as GLOOK,
( select AGENTLOOK from pur_program p where p.pro_id=pe.PRO_ID) as AGENTLOOK
FROM
pur_bidding_supplier_head pbsh,
pur_evaluation pe,
pur_supplier ps
WHERE
pe.EVALUATION_ID = pbsh.EVALUATION_ID
AND ps.SUPPLIER_ID = pbsh.SUPPLIER_ID
AND pe.PRO_ID = #{0}
ORDER BY
pbsh.CREATION_DATE DESC
最后通过上面红色部分的convert函数来实现转成保留两位小数。
转换前的数据
2021-07-06 10:43:00 26506 88889.0 6302 李盛超测试
2021-07-06 10:47:06 26518 1500.1 6306 黄彤测试账号
2021-07-06 10:43:00 26508 6666.1 6304 顾志坚测试账号
转换后的数据
2021-07-06 10:43:00 26506 88889.02 6302 李盛超测试
2021-07-06 10:47:06 26518 1500.08 6306 黄彤测试账号
2021-07-06 10:43:00 26508 6666.05 6304 顾志坚测试账号
SELECT
IFNULL( (select CREATION_DATE from pur_bidding_supplier_line pbsl where pbsh.HEAD_ID = pbsl.HEAD_ID order by CREATION_DATE desc LIMIT 1 ) , pbsh.CREATION_DATE) as CREATION_DATE,
IFNULL((select LINE_ID from pur_bidding_supplier_line pbsl where pbsh.HEAD_ID = pbsl.HEAD_ID order by CREATION_DATE desc LIMIT 1 ) ,0) as LINE_ID,
CONVERT(IFNULL((select QUOTED_PRICE from pur_bidding_supplier_line pbsl where pbsh.HEAD_ID = pbsl.HEAD_ID order by CREATION_DATE desc LIMIT 1 ),99999999999999999999999),decimal(20,2)) as QUOTED_PRICE,
pbsh.SUPPLIER_ID,
ps.SUPPLIER_NAME,
pe.PRO_ID ,
( select glook from pur_program p where p.pro_id=pe.PRO_ID) as GLOOK,
( select AGENTLOOK from pur_program p where p.pro_id=pe.PRO_ID) as AGENTLOOK
FROM
pur_bidding_supplier_head pbsh,
pur_evaluation pe,
pur_supplier ps
WHERE
pe.EVALUATION_ID = pbsh.EVALUATION_ID
AND ps.SUPPLIER_ID = pbsh.SUPPLIER_ID
AND pe.PRO_ID = #{0}
ORDER BY
pbsh.CREATION_DATE DESC
最后通过上面红色部分的convert函数来实现转成保留两位小数。
转换前的数据
2021-07-06 10:43:00 26506 88889.0 6302 李盛超测试
2021-07-06 10:47:06 26518 1500.1 6306 黄彤测试账号
2021-07-06 10:43:00 26508 6666.1 6304 顾志坚测试账号
转换后的数据
2021-07-06 10:43:00 26506 88889.02 6302 李盛超测试
2021-07-06 10:47:06 26518 1500.08 6306 黄彤测试账号
2021-07-06 10:43:00 26508 6666.05 6304 顾志坚测试账号
10月8
mybatis 映射文件中,if标签判断字符串相等,两种方式:
因为mybatis映射文件,是使用的ognl表达式,所以在判断字符串sex变量是否是字符串Y的时候,
1.
<if test="signUpFlag=='Y'.toString()">
2.
<if test = 'signUpFlag== "Y"'>
注意:
不能使用
<if test="signUpFlag=='Y'">
and 1=1
</if>
因为mybatis会把'Y'解析为字符char类型,而不是String类型,不能做到判断的效果,java是强类型语言,所以不能这样写。
注意点:
mybatis中判断字符串为某一个值,必须+toString() 或者 flage=="xxx" (双引号),否则无法进入该判断
因为mybatis映射文件,是使用的ognl表达式,所以在判断字符串sex变量是否是字符串Y的时候,
1.
<if test="signUpFlag=='Y'.toString()">
2.
<if test = 'signUpFlag== "Y"'>
注意:
不能使用
<if test="signUpFlag=='Y'">
and 1=1
</if>
因为mybatis会把'Y'解析为字符char类型,而不是String类型,不能做到判断的效果,java是强类型语言,所以不能这样写。
注意点:
mybatis中判断字符串为某一个值,必须+toString() 或者 flage=="xxx" (双引号),否则无法进入该判断