记录一次在工作中遇到sql优化实例:
mysql优化一直是工作中一个非常普遍的问题,我们工作中会不可避免的遇到需要根据业务去写一些比较复杂的sql语句,或者更多的呢,是我们在新接手一个项目后,尤其是一些特别老的业务系统,经常会遇到一些查询非常慢的问题。这时候就需要我们去想办法来改善我们的查询方式,来提高我们的查询效率;
前提:
目前我基于的存储引擎为INNODB
我们在开始之前先得理解,
一、我们mysql中的数据最终是存储在磁盘上,而内存与磁盘之间的交互速度是受限制的,除非物理上提升;所以我们要优化sql查询的速度,只能从两个方面入手:
1、减少io次数
2、减少i0数据量
二、我们要理解innodb的索引使用的是B+Tree的数据结构,它的特点是数据是存储在叶子节点的(MyISAM data节点存储的是数据记录的地址,因为innodb是聚集索引,MyISAM是非聚集索引...),盗用一张网图:
主键索引:data存放的是数据
辅助索引:data存放的是主键值
我遇到的问题:项目合同审核列表需要获取最新审核记录对应信息,需要检索的数据在3个业务表中
刚刚接手时,翻了下前人根据当前业务书写的sql语句:
1 SELECT 2 pp.user_center_id, 3 pp.userCenterId, 4 pp.provider_id, 5 pp.name_cn, 6 pp.id, 7 pp.contract_name, 8 pp.begin_date, 9 pp.end_date, 10 pp.auto_extend, 11 pp.reject_reason, 12 pp.auditing_status, 13 pp.created_time, 14 pp.contract_pdf_path, 15 pp.contract_version 16 FROM 17 ( 18 SELECT 19 p.user_center_id AS user_center_id, 20 ca.user_center_id AS userCenterId, 21 c.provider_id AS provider_id, 22 p.name_cn AS name_cn, 23 c.id AS id, 24 c.contract_name AS contract_name, 25 c.begin_date AS begin_date, 26 c.end_date AS end_date, 27 c.auto_extend AS auto_extend, 28 ca.reject_reason AS reject_reason, 29 ca.auditing_status AS auditing_status, 30 ca.created_time AS created_time, 31 c.contract_pdf_path, 32 p.agent_type, 33 p.photographer_type, 34 c.contract_version 35 FROM 36 contract c 37 LEFT JOIN provider p ON c.provider_id = p.id 38 LEFT JOIN 39 (SELECT cca.user_center_id,cca.reject_reason,cca.auditing_status,created_time FROM contract_application cca WHERE CONCAT(cca.user_center_id,cca.created_time) in( 40 SELECT CONCAT(m.user_center_id,m.comparetime) FROM( 41 SELECT user_center_id,MAX(created_time) comparetime FROM contract_application GROUP BY user_center_id) m) 42 ) ca ON ca.user_center_id = p.user_center_id 43 WHERE 44 p.photographer_type = '1' 45 AND c.contract_version IN ('1', '0','3') 46 ) pp
执行时间1.849s
我查看一下当前语句的执行计划:EXPLAIN
很完美的语句....
EXPLAIN我们大体了解一下:
id:执行sql或操作表的顺序;id相同,执行顺序从上往下;id不同,id值越大,优先级越高,越先执行;
select_type:查询类型;
1、simple 简单的select查询,查询中不包含子查询或者union
2、primary 查询中若包含任何复杂的子部分,最外层查询被标记
3、subquery 在select或where列表中包含了子查询
4、derived 在在from列表中包含的子查询被标记为derived(衍生),MySQL会递归执行这些子查询,把结果放到临时表中
5、union 如果第二个select出现在UNION之后,则被标记为UNION,如果union包含在from子句的子查询中,外层select被标记为derived
6、union result UNION 的结果
table:输出行引用的表
type:联结类型,显示查询使用了何种类型
1、system 表中仅有一行记录(等于系统表),这是const类型的特列,平时不会出现,这个也可以忽略不计
2、const 表示通过索引一次就找到了,const用于比较primary key 或者unique索引。因为只匹配一行数据,所以很快。如将主键置于where列表中,MySQL就能将该查询转换为一个常量。
3、eq_ref 唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于唯一索引或者主键扫描
4、ref 非唯一性索引扫描,返回匹配某个单独值的所有行,本质上也是一种索引访问,它返回所有匹配某个单独值的行,可能会找多个符合条件的行,属于查找和扫描的混合体
5、range 只检索给定范围的行,使用一个索引来选择行。key列显示使用了哪个索引,一般就是where语句中出现了between,in等范围的查询。这种范围扫描索引扫描比全表扫描要好,因为它开始于索引的某一个点,而结束另一个点,不用全表扫描
6、index 遍历索引树
7、all 遍历全表匹配
possible_keys:可能用到的这张表的索引,但实际查询不一定被用到
key: 实际使用的索引。如果没有选择索引,键是NULL。查询中如果使用覆盖索引,则该索引和查询的select字段重叠;
key_len:表示索引中使用的字节数
ref: 显示索引的哪一列被使用了
rows:根据表统计信息及索引选用情况,大致估算出 找到所需记录 需要读取的行数;
extra:
1、Using filesort mysql对数据使用了一个外部的索引排序,而不是按照表内的索引顺序进行读取。Mysql中无法利用索引完成的排序操作称为“文件排序”。
2、Using temporary 使用临时表保存中间结果,mysql在对查询结果排序时使用临时表。常见于排序order by和分组查询group by。
3、Using index 表示响应的select操作中使用了索引覆盖,避免访问了表的数据行,效率不错。如果同时出现using where,表明索引被用来执行索引键值的查找;如果没有同时出现using where,表明索引用来读取数据而非执行查找动作。
4、Using where 表明使用了where过滤
5、using join buffer 使用了连接缓存
6、impossible where where子句的值总是false,不能用来获取任何元组
7、select tables optimized away 在没有group by子句的情况下,基于索引优化Min、max操作或者对于MyISAM存储引擎优化count(*),不必等到执行阶段再进行计算,查询执行计划生成的阶段即完成优化;
8、distinct 优化distinct操作,在找到第一匹配的元组后即停止找同样值的动作;
我先把sql语句拆解一下,分析一下:
1、先来啃这一块,当前子查询消耗时间:776ms
这是干啥的呢?主要是查询contract_application表中每个用户的最新记录的相关信息;这里可以看出多用了好多次子查询,我们继续拆解一下:
a、
SELECT user_center_id,MAX(created_time),reject_reason,auditing_status FROM contract_application GROUP BY user_center_id
598ms
我们看一下执行计划:
EXPLAIN SELECT user_center_id,MAX(created_time) comparetime FROM contract_application GROUP BY user_center_id
没有索引,直接全文检索,我准备给当前表的user_center_id,created_time加个联合索引,因为当前主要以这两个字段做判断查询
再次执行a步骤的执行计划,可以看到当前该语句已通过索引树进行了查询,耗时从:598ms -> 401ms
b、当前子查询用了多次子查询,我准备调整一下sql,先来看下当前子查询的执行计划:
EXPLAIN SELECT cca.user_center_id,cca.reject_reason,cca.auditing_status,created_time FROM contract_application cca WHERE CONCAT(cca.user_center_id,cca.created_time) in( SELECT CONCAT(m.user_center_id,m.comparetime) FROM( SELECT user_center_id,MAX(created_time) comparetime FROM contract_application GROUP BY user_center_id) m)
调整sql,耗时
SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id
EXPLAIN SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id
调整后子查询从776ms->424ms;
c、这时候我们更新后的语句就变成了
SELECT pp.user_center_id, pp.userCenterId, pp.provider_id, pp.name_cn, pp.id, pp.contract_name, pp.begin_date, pp.end_date, pp.auto_extend, pp.reject_reason, pp.auditing_status, pp.created_time, pp.contract_pdf_path, pp.contract_version FROM ( SELECT p.user_center_id AS user_center_id, ca.user_center_id AS userCenterId, c.provider_id AS provider_id, p.name_cn AS name_cn, c.id AS id, c.contract_name AS contract_name, c.begin_date AS begin_date, c.end_date AS end_date, c.auto_extend AS auto_extend, ca.reject_reason AS reject_reason, ca.auditing_status AS auditing_status, ca.created_time AS created_time, c.contract_pdf_path, p.agent_type, p.photographer_type, c.contract_version FROM contract c LEFT JOIN provider p ON c.provider_id = p.id LEFT JOIN (SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id) ca ON ca.user_center_id = p.user_center_id WHERE p.photographer_type = '1' AND c.contract_version IN ('1', '0','3') ) pp;
查看执行计划
可以看到其实该语句外层没必要再次套一层子查询了,可以去掉,调整sql
SELECT p.user_center_id AS user_center_id, ca.user_center_id AS userCenterId, c.provider_id AS provider_id, p.name_cn AS name_cn, c.id AS id, c.contract_name AS contract_name, c.begin_date AS begin_date, c.end_date AS end_date, c.auto_extend AS auto_extend, ca.reject_reason AS reject_reason, ca.auditing_status AS auditing_status, ca.created_time AS created_time, c.contract_pdf_path, p.agent_type, p.photographer_type, c.contract_version FROM contract c LEFT JOIN provider p ON c.provider_id = p.id LEFT JOIN (SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id) ca ON ca.user_center_id = p.user_center_id WHERE p.photographer_type = '1' AND c.contract_version IN ('1', '0','3')
查看执行计划
整体耗时从1.849s->1.177s
由于业务原因,在不改变业务需求的请求,目前还没想更加优化的方案,如果有大佬有啥好的建议,可以给点优化建议;非常感谢~
const