Heck's Blog

在mysql5.7以及之后的版本运行sql语句时，出现以下问题：
[Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated column ‘information_schema.PROFILING.SEQ’ which is not functionally dependent on columns in GROUP BY clause; this is incompatible with sql_mode=only_full_group_by

出现问题的原因：
MySQL 5.7.5及以上功能依赖检测功能。如果启用了ONLY_FULL_GROUP_BY SQL模式（默认情况下），MySQL将拒绝选择列表，HAVING条件或ORDER BY列表的查询引用在GROUP BY子句中既未命名的非集合列，也不在功能上依赖于它们。（5.7.5之前，MySQL没有检测到功能依赖关系，默认情况下不启用ONLY_FULL_GROUP_BY

解决办法：
把 sql_mode中的 only_full_group_by 去掉即可
办法一：（只在当前查询页面有效，不能一次性解决问题！）

查询sql_mode： select version(), @@sql_mode;
修改为： SET sql_mode=(SELECT REPLACE(@@sql_mode,‘ONLY_FULL_GROUP_BY’,’’));
办法二： 修改 my.cnf 文件的 sql_mode （一次性解决问题）

查找 my.cnf 文件： find / -name my.cnf 或者 whereis my.cnf
获取 sql_mode字段内容： SELECT @@sql_mode;
去掉 sql_mode字段中的 only_full_group_by
编辑 my.cnf： vim /etc/my.cnf 将上一步骤的 sql_mode 字段内容添加至 my.cnf。可参考：sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
保存，重启： systemctl restart mysqld.service

一、解决方法
        如果你希望使用 group by 语句的时候避免出现 filesort, 那么只需在其后追加 order by null 语句即可, 即：    
group by ... order by null

二、说明
      1、默认情况下，mysql在使用group by之后，会产生临时表，而后进行排序（此处排序默认是快排），这会消耗大量的性能。

      2、group by本质是先分组后排序【而不是先排序后分组】。

      3、group by column 默认会按照column分组, 然后根据column升序排列;  group by column order by null 则默认按照column分组,然后根据标的主键ID升序排列

一、问题
### Cause: java.sql.SQLException: Lock wait timeout exceeded; try restarting transaction;


现象：接口响应时间超长，耗时几十秒才返回错误提示，后台日志中出现Lock wait timeout exceeded; try restarting transaction的错误

二、原因分析
使用InnoDB表类型的时候，锁等待超过了innodb_lock_wait_timeout（默认是50s）设置的时间,所以报错

三、可能出现场景
1、在同一事务内先后对同一条数据进行插入和更新操作

2、多台服务器操作同一数据库

3、瞬时出现高并发现象，spring事务造成数据库死锁，后续操作超时抛出异常

4、事务A对记录C进行更新/删除操作的请求未commit时，事务B也对记录C进行更新/删除操作。此时，B会等A提交事务，释放行锁。当等待时间超过innodb_lock_wait_timeout设置值时，会产生“LOCK WAIT”事务。

四、解决方案
1、【治标方法】innodb_lock_wait_timeout 锁定等待时间改大

SELECT
  @@innodb_lock_wait_timeout;

innodb_lock_wait_timeout = 50

修改为
SET @@innodb_lock_wait_timeout = 500;

innodb_lock_wait_timeout = 500

缺点：全局更改，影响也是全局的，等待时间加长，容易使等待事务增多导致堆积问题。

2、【治标方法】事务信息查询

SELECT * FROM information_schema.innodb_trx

查到一个一直没有提交的只读事务（trx_state=”LOCK WAIT”），找到对应线程，执行：

kill 线程ID(trx_mysql_thread_id)

3、【治标方法】如果杀掉线程依然不能解决，可以查找执行线程耗时比较久的任务，kill掉

SELECT * from information_schema.`PROCESSLIST` WHERE Time > 1000 AND USER = 'xxx' ORDER BY TIME desc;

kill 线程ID

4、【根本解决方法！】找到锁表的事务，分析锁表原因，进行优化。

实例：司机APP进行运单签收，需要对et_waybill_info表某些记录进行更新操作。一直处于锁等待状态，直到超时报错。

经排查，发现：系统定时器定时执行任务，将所有未标识亮的已装车或签收的运单，按批次处理，如果运单装车了但长时间未上传GPS、温湿度等信息，会一直被定时器处理。数据量越积越大，队列长时间等待，对et_waybill_info表锁住没有释放，致使签收要操作et_waybill_info表无法拿到锁，进行数据操作。

临时解决方案：停掉定时器任务

根本解决方案：优化定时器

五、预防措施
1、开始事务（@transtion）指定超时时 间

例：@Transactional( rollbackFor = Exception.class , isolation = Isolation.REPEATABLE_READ, timeout = 30)

2、事务中存在批量修改、删除语句的时候，where条件尽量加索引

3、事务中存在批量修改、删除语句的时候，尽可能减少事务的执行时间

4、减少并发线程数

六、相关信息
1、innodb_lock_wait_timeout和lock_wait_timeout
innodb_lock_wait_timeout：InnoDB事务等待一个行级锁的时间最长时间（单位是秒），超过这个时间就会放弃。默认值是50秒

lock_wait_timeout：获取元数据锁的超时时间。这个适合用于除了系统表之外的所有表（mysql库之外）。

区别于innodb_lock_wait_timeout是针对dml操作的行级锁的等待时间 ，而lock_wait_timeout是数据结构ddl操作的锁的等待时间

2、事务相关表
INNODB_TRX  当前运行的所有事务



INNODB_LOCKS  当前出现的锁，查看正在锁的事务



INNODB_LOCK_WAITS  锁等待的对应关系，查看等待锁的事务



3、information_schema和performance_schema
information_schema：对数据库元数据的抽象分析，由此提供了SQL语句方式来查询数据库运行时状态，每次对infomation_schema的查询都产生对metadata的互斥访问，影响其他数据库的访问性能。这张数据表保存了MySQL服务器所有数据库的信息。如数据库名，数据库的表，表栏的数据类型与访问权限等。

performance_schema：内存型数据库，使用performance_schema存储引擎，通过事件机制将mysql服务的运行时状态采集并存储在performance_schema数据库。用于监控MySQL server在一个较低级别的运行过程中的资源消耗、资源等待等情况。

七、总结
1、当看到mysql报错时，可以根据报错的信息及错误号去分析报错原因，然后冷静分析，透过现象看本质，从根本上解决问题。少用治标不治本的方案，还可能会带来其他问题。

2、了解了mysql里几张事务相关表

3、初识information_schema和performance_schema

    最近在维护一个几年前的项目，发现供应商报价本来为decimal类型保留两位小数的数据，结果通过ifnull后变成四舍五入保小一位小数了，排查了很久才现是由于ifnull函数引起的问题。      
SELECT
        IFNULL( (select CREATION_DATE  from  pur_bidding_supplier_line pbsl where  pbsh.HEAD_ID = pbsl.HEAD_ID  order by CREATION_DATE desc LIMIT 1 ) ,  pbsh.CREATION_DATE) as CREATION_DATE,
        IFNULL((select LINE_ID  from  pur_bidding_supplier_line pbsl where  pbsh.HEAD_ID = pbsl.HEAD_ID  order by CREATION_DATE desc LIMIT 1 ) ,0) as LINE_ID,
        CONVERT(IFNULL((select QUOTED_PRICE  from  pur_bidding_supplier_line pbsl where  pbsh.HEAD_ID = pbsl.HEAD_ID  order by CREATION_DATE desc LIMIT 1 ),99999999999999999999999),decimal(20,2)) as QUOTED_PRICE,
            pbsh.SUPPLIER_ID,
            ps.SUPPLIER_NAME,
            pe.PRO_ID ,

            ( select glook from pur_program  p  where p.pro_id=pe.PRO_ID) as GLOOK,
            ( select AGENTLOOK from  pur_program   p where p.pro_id=pe.PRO_ID) as AGENTLOOK
        FROM

            pur_bidding_supplier_head pbsh,
            pur_evaluation pe,
            pur_supplier ps
        WHERE
           pe.EVALUATION_ID = pbsh.EVALUATION_ID
          AND ps.SUPPLIER_ID = pbsh.SUPPLIER_ID
          AND pe.PRO_ID = #{0}
        ORDER BY
            pbsh.CREATION_DATE DESC

最后通过上面红色部分的convert函数来实现转成保留两位小数。
转换前的数据
2021-07-06 10:43:00  26506  88889.0  6302  李盛超测试
2021-07-06 10:47:06  26518  1500.1  6306  黄彤测试账号
2021-07-06 10:43:00  26508  6666.1  6304  顾志坚测试账号

转换后的数据
2021-07-06 10:43:00  26506  88889.02  6302  李盛超测试
2021-07-06 10:47:06  26518  1500.08  6306  黄彤测试账号
2021-07-06 10:43:00  26508  6666.05  6304  顾志坚测试账号

#表结构：
1、表一：Test1
Id  name  age
1      
2      

2、表二：Test2
Id  name  age
1  小明  10
2  小红  8


#实现将表Test2的name和age字段数据更新到表Test1中，按照id相等的条件

1、SQLServer多表更新方法：
语法：

UPDATE { table_name WITH ( < table_hint_limited > [ ...n ] ) &#124; view_name &#124; rowset_function_limited }
SET { column_name = { expression &#124; DEFAULT &#124; NULL } &#124; @variable = expression &#124; @variable = column = expression } [ ,...n ]
{ { [ FROM { < table_source > } [ ,...n ] ] [ WHERE < search_condition > ] } &#124; [ WHERE CURRENT OF { { [ GLOBAL ] cursor_name } &#124; cursor_variable_name } ] } [ OPTION ( < query_hint > [ ,...n ] ) ]
例子：

update test1
set test1.name=test2.name,test1.age=test2.age
from test1
inner join test2
on test1.id=test2.id

2、Oracle 多表更新方法：
语法：

UPDATE updatedtable
SET (col_name1[,col_name2...])= (SELECT col_name1,[,col_name2...]
FROM srctable [WHERE where_definition])
例子：

update test1
set (test1.name,test1.age)=
(select test2.name,test2.age from test2 where test2.id=test1.id)

3、MySql多表更新方法：
语法：

UPDATE table_references
SET col_name1=expr1 [, col_name2=expr2 ...] [WHERE where_definition]
例子：

update test1,test2
set test1.name=test2.name,test1.age=test2.age
where test1.id=test2.id

4、通用方法：(*^__^*)
update test1
set name=(select name from test2 where test2.id=test1.id),
age=(select age from test2 where test2.id=test1.id)

数据库中的数据 需要批量的替换 ,替换某个词或特殊符号

sql语句：

update 表名 set 字段名=REPLACE (字段名,'原来的值','要修改的值')

update  pmsprojectmember set projectMemberType=REPLACE(projectMemberType,'BusinessOprator','BusinessOperator')

update user_item set addr=REPLACE (addr,'长沙','湘府')

添加条件：
update user_item set addr=REPLACE (addr,'长沙','湘府') where time<'2021-1-5'；

1、设置管理员账户

use admin
db.createUser({ user: "useradmin", pwd: "adminpassword", roles: [{ role: "userAdminAnyDatabase", db: "admin" }] })
mongodb中的用户是基于身份role的，该管理员账户的 role是 userAdminAnyDatabase。 ‘userAdmin’代表用户管理身份，’AnyDatabase’ 代表可以管理任何数据库。

2、验证

db.auth("useradmin", "adminpassword")
如果返回1，则表示成功。

3、修改配置文件（注意缩进）

sudo vi /etc/mongod.conf
#security:
security:
　　authorization: enabled

4、重启mongodb

sudo service mongod restart
5、创建普通用户

进入mongodb,用第3步的 管理员账户登录，用该账户创建其他数据库管理员账号

　　+先进行管理员认证

use admin
db.auth("useradmin", "adminpassword")
　　+设置其他库的账号密码及权限

use yourdatabase
db.createUser({ user: "youruser", pwd: "yourpassword", roles: [{ role: "dbOwner", db: "yourdatabase" }] })
　　rote:dbOwner 代表数据库所有者角色，拥有最高该数据库最高权限。比如新建索引等

mysql中replace函数直接替换mysql数据库中某字段中的特定字符串，不再需要自己写函数去替换，用起来非常的方便，mysql 替换函数replace()
Update `table_name` SET `field_name` = replace (`field_name`,’from_str’,'to_str’) Where `field_name` LIKE ‘%from_str%’

实例：把'病假' 替换为 '--'：UPDATE users SET username=REPLACE(username,'病假','--')  WHERE username LIKE '%病假%';
说明：
table_name —— 表的名字
field_name —— 字段名
from_str —— 需要替换的字符串
to_str —— 替换成的字符串

---------------------------------

mysql 里面可以用uuid()语句来生成一个UUID：

select uuid();
或 select replace(uuid(), '-', '');

直接在insert语句中插入UUID作主键的用法(简便)：

insert into Price( Name, UUID, Price, BID) values('FEIFEI_TEST', uuid(), 32, 3);

------------------------------
在mysql中，可以使用uuid 来生成主键，但是用mysql的uuid()函数 ，生成的uuid是36位的，其中包含32个字符以及4个分隔符（-），往往这个分隔符对我们来说是没有用的，可以使用mysql自带的replace函数去掉分隔符

replace(uuid(),'-','')   ---->将uuid()中的‘-’，去掉，即替换成空串；

此外

upper(replace(uuid(),'-',''))用于将字符转换为大写
--------------------------------

一、replace函数
语法：replace(object,search,replace)
语义：把object对象中出现的的search全部替换成replace。
实例：

update hellotable set 'helloCol' = replace('col','heck','heckjj.com')

二、replace into函数
为什么会接触到replace into函数，是因为业务需要向数据库中插入数据，前提是重复的不能再次插入。以前用where解决的，今天才知道还有一个更简洁的方法replace。
replace具备替换拥有唯一索引或者主键索引重复数据的能力，也就是如果使用replace into插入的数据的唯一索引或者主键索引与之前的数据有重复的情况，将会删除原先的数据，然后再进行添加。
语法：replace into table( col1, col2, col3 ) values ( val1, val2, val3 )
语义：向table表中col1, col2, col3列replace数据val1，val2，val3

实例：
REPLACE INTO users (id,name,age) VALUES(123, ‘chao’, 50);

SELECT COUNT(*) 

FROM （SELECT 分组字dao段 FROM 表 

GROUP BY 分组字段 

）别名 

或者 

SELECT COUNT(*) 

FROM （SELECT distinct 分组字段 FROM 表）别名

扩展资料：
SQL分组查询

在SQL Server中使用的分组查询是ORDER BY子句，使用ORDER BY子句要同聚合函数配合使用才能完成分组查询，在SELECT查询的字段中如果字段没有使用聚合函数就必须出现在ORDER BY子句中（即SELECT后边的字段名要么出现在聚合函数中，要么在ORDER BY子句中使用）

在分组查询中还可以配合使用HAVING子句，定义查询条件。

使用group by进行分组查询

在使用group by关键字时，在select列表中可以指定的项目是有限制的，select语句中仅许以下几项：

1、被分组的列

2、为每个分组返回一个值得表达式，例如用一个列名作为参数的聚合函数

3、group by 有一个原则,就是 select 后面的所有列中,没有使用聚合函数的列,必须出现在 group by 后面


要得到每组的合计可以用下面的，要总计用上面的，想一次性得到分组合计以内及总计，可以这么写：

SELECT 分组容字段 FROM 表
GROUP BY 分组字段
compute sum(COUNT(*))


那就这样
SELECT COUNT(*)
FROM （SELECT 分组字段 FROM 表
GROUP BY 分组字段
）别名

或者

SELECT COUNT(*)
FROM （SELECT distinct 分组字段 FROM 表）别名

MySQL中，查询表（crawl_content）中字段（url）值重复的记录：

SELECT url, COUNT(*) AS sumCount FROM crawl_content GROUP BY url HAVING sumCount > 1;
说明：先用GROUP BY 对 url进行分组，同时使用COUNT（*）进行统计，再用HAVING来过滤大于1的，这样查找出来的就是重复的记录了。