记录一次在工作中遇到sql优化实例:

  mysql优化一直是工作中一个非常普遍的问题,我们工作中会不可避免的遇到需要根据业务去写一些比较复杂的sql语句,或者更多的呢,是我们在新接手一个项目后,尤其是一些特别老的业务系统,经常会遇到一些查询非常慢的问题。这时候就需要我们去想办法来改善我们的查询方式,来提高我们的查询效率;

前提:

  目前我基于的存储引擎为INNODB

  

  我们在开始之前先得理解,

  一、我们mysql中的数据最终是存储在磁盘上,而内存与磁盘之间的交互速度是受限制的,除非物理上提升;所以我们要优化sql查询的速度,只能从两个方面入手:

    1、减少io次数

    2、减少i0数据量

  二、我们要理解innodb的索引使用的是B+Tree的数据结构,它的特点是数据是存储在叶子节点的(MyISAM data节点存储的是数据记录的地址,因为innodb是聚集索引,MyISAM是非聚集索引...),盗用一张网图:

MySql sql优化实例-LMLPHP

   主键索引:data存放的是数据

   辅助索引:data存放的是主键值

  我遇到的问题:项目合同审核列表需要获取最新审核记录对应信息,需要检索的数据在3个业务表中

  刚刚接手时,翻了下前人根据当前业务书写的sql语句:

 1 SELECT
 2             pp.user_center_id,
 3             pp.userCenterId,
 4             pp.provider_id,
 5             pp.name_cn,
 6             pp.id,
 7             pp.contract_name,
 8             pp.begin_date,
 9             pp.end_date,
10             pp.auto_extend,
11             pp.reject_reason,
12             pp.auditing_status,
13             pp.created_time,
14             pp.contract_pdf_path,
15             pp.contract_version
16         FROM
17         (
18             SELECT
19                 p.user_center_id AS user_center_id,
20                 ca.user_center_id AS userCenterId,
21                 c.provider_id AS provider_id,
22                 p.name_cn AS name_cn,
23                 c.id AS id,
24                 c.contract_name AS contract_name,
25                 c.begin_date AS begin_date,
26                 c.end_date AS end_date,
27                 c.auto_extend AS auto_extend,
28                 ca.reject_reason AS reject_reason,
29                 ca.auditing_status AS auditing_status,
30                 ca.created_time AS created_time,
31                 c.contract_pdf_path,
32                 p.agent_type,
33                 p.photographer_type,
34                 c.contract_version
35             FROM
36                 contract c
37             LEFT JOIN provider p ON c.provider_id = p.id
38             LEFT JOIN
39                 (SELECT cca.user_center_id,cca.reject_reason,cca.auditing_status,created_time FROM contract_application cca WHERE CONCAT(cca.user_center_id,cca.created_time) in(
40                 SELECT CONCAT(m.user_center_id,m.comparetime) FROM(
41                 SELECT user_center_id,MAX(created_time) comparetime FROM contract_application GROUP BY user_center_id) m)
42                 ) ca ON ca.user_center_id = p.user_center_id
43             WHERE
44                 p.photographer_type = '1'
45                 AND c.contract_version IN ('1', '0','3')
46 ) pp

  执行时间1.849s

  我查看一下当前语句的执行计划:EXPLAIN 

MySql sql优化实例-LMLPHP

    很完美的语句....

  EXPLAIN我们大体了解一下:

    id:执行sql或操作表的顺序;id相同,执行顺序从上往下;id不同,id值越大,优先级越高,越先执行;

    select_type:查询类型;

      1、simple 简单的select查询,查询中不包含子查询或者union

      2、primary 查询中若包含任何复杂的子部分,最外层查询被标记

      3、subquery 在select或where列表中包含了子查询

      4、derived 在在from列表中包含的子查询被标记为derived(衍生),MySQL会递归执行这些子查询,把结果放到临时表中

      5、union 如果第二个select出现在UNION之后,则被标记为UNION,如果union包含在from子句的子查询中,外层select被标记为derived

      6、union result UNION 的结果

    table:输出行引用的表

    type:联结类型,显示查询使用了何种类型

      1、system 表中仅有一行记录(等于系统表),这是const类型的特列,平时不会出现,这个也可以忽略不计

      2、const 表示通过索引一次就找到了,const用于比较primary key 或者unique索引。因为只匹配一行数据,所以很快。如将主键置于where列表中,MySQL就能将该查询转换为一个常量。

      3、eq_ref 唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于唯一索引或者主键扫描

      4、ref 非唯一性索引扫描,返回匹配某个单独值的所有行,本质上也是一种索引访问,它返回所有匹配某个单独值的行,可能会找多个符合条件的行,属于查找和扫描的混合体

      5、range 只检索给定范围的行,使用一个索引来选择行。key列显示使用了哪个索引,一般就是where语句中出现了between,in等范围的查询。这种范围扫描索引扫描比全表扫描要好,因为它开始于索引的某一个点,而结束另一个点,不用全表扫描

      6、index 遍历索引树

      7、all 遍历全表匹配

    possible_keys:可能用到的这张表的索引,但实际查询不一定被用到

    key: 实际使用的索引。如果没有选择索引,键是NULL。查询中如果使用覆盖索引,则该索引和查询的select字段重叠;

    key_len:表示索引中使用的字节数

    ref: 显示索引的哪一列被使用了

    rows:根据表统计信息及索引选用情况,大致估算出 找到所需记录 需要读取的行数;

    extra:

      1、Using filesort mysql对数据使用了一个外部的索引排序,而不是按照表内的索引顺序进行读取。Mysql中无法利用索引完成的排序操作称为“文件排序”。

      2、Using temporary 使用临时表保存中间结果,mysql在对查询结果排序时使用临时表。常见于排序order by和分组查询group by。

      3、Using index 表示响应的select操作中使用了索引覆盖,避免访问了表的数据行,效率不错。如果同时出现using where,表明索引被用来执行索引键值的查找;如果没有同时出现using where,表明索引用来读取数据而非执行查找动作。

      4、Using where 表明使用了where过滤

      5、using join buffer 使用了连接缓存

      6、impossible where where子句的值总是false,不能用来获取任何元组

      7、select tables optimized away 在没有group by子句的情况下,基于索引优化Min、max操作或者对于MyISAM存储引擎优化count(*),不必等到执行阶段再进行计算,查询执行计划生成的阶段即完成优化;

      8、distinct 优化distinct操作,在找到第一匹配的元组后即停止找同样值的动作;

  我先把sql语句拆解一下,分析一下:

  1、先来啃这一块,当前子查询消耗时间:776msMySql sql优化实例-LMLPHP

MySql sql优化实例-LMLPHP

   这是干啥的呢?主要是查询contract_application表中每个用户的最新记录的相关信息;这里可以看出多用了好多次子查询,我们继续拆解一下:

  a、

SELECT user_center_id,MAX(created_time),reject_reason,auditing_status FROM contract_application GROUP BY user_center_id

   598msMySql sql优化实例-LMLPHP

  

  我们看一下执行计划:

EXPLAIN SELECT user_center_id,MAX(created_time) comparetime FROM contract_application GROUP BY user_center_id

MySql sql优化实例-LMLPHP

  没有索引,直接全文检索,我准备给当前表的user_center_id,created_time加个联合索引,因为当前主要以这两个字段做判断查询

  MySql sql优化实例-LMLPHP

   再次执行a步骤的执行计划,可以看到当前该语句已通过索引树进行了查询,耗时从:598ms -> 401msMySql sql优化实例-LMLPHP

MySql sql优化实例-LMLPHP

   

  b、当前子查询用了多次子查询,我准备调整一下sql,先来看下当前子查询的执行计划:

EXPLAIN SELECT cca.user_center_id,cca.reject_reason,cca.auditing_status,created_time FROM contract_application cca WHERE CONCAT(cca.user_center_id,cca.created_time) in(
                SELECT CONCAT(m.user_center_id,m.comparetime) FROM(
                SELECT user_center_id,MAX(created_time) comparetime FROM contract_application GROUP BY user_center_id) m)

MySql sql优化实例-LMLPHP

   调整sql,耗时MySql sql优化实例-LMLPHP

SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id
EXPLAIN SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id

MySql sql优化实例-LMLPHP

   调整后子查询从776ms->424ms;

  

  c、这时候我们更新后的语句就变成了 

SELECT
            pp.user_center_id,
            pp.userCenterId,
            pp.provider_id,
            pp.name_cn,
            pp.id,
            pp.contract_name,
            pp.begin_date,
            pp.end_date,
            pp.auto_extend,
            pp.reject_reason,
            pp.auditing_status,
            pp.created_time,
            pp.contract_pdf_path,
            pp.contract_version
        FROM
        (
            SELECT
                p.user_center_id AS user_center_id,
                ca.user_center_id AS userCenterId,
                c.provider_id AS provider_id,
                p.name_cn AS name_cn,
                c.id AS id,
                c.contract_name AS contract_name,
                c.begin_date AS begin_date,
                c.end_date AS end_date,
                c.auto_extend AS auto_extend,
                ca.reject_reason AS reject_reason,
                ca.auditing_status AS auditing_status,
                ca.created_time AS created_time,
                c.contract_pdf_path,
                p.agent_type,
                p.photographer_type,
                c.contract_version
            FROM
                contract c
            LEFT JOIN provider p ON c.provider_id = p.id
            LEFT JOIN
                (SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id) ca ON ca.user_center_id = p.user_center_id
            WHERE
                p.photographer_type = '1'
                AND c.contract_version IN ('1', '0','3')
) pp;

 查看执行计划

 MySql sql优化实例-LMLPHP

 可以看到其实该语句外层没必要再次套一层子查询了,可以去掉,调整sql

SELECT
                p.user_center_id AS user_center_id,
                ca.user_center_id AS userCenterId,
                c.provider_id AS provider_id,
                p.name_cn AS name_cn,
                c.id AS id,
                c.contract_name AS contract_name,
                c.begin_date AS begin_date,
                c.end_date AS end_date,
                c.auto_extend AS auto_extend,
                ca.reject_reason AS reject_reason,
                ca.auditing_status AS auditing_status,
                ca.created_time AS created_time,
                c.contract_pdf_path,
                p.agent_type,
                p.photographer_type,
                c.contract_version
            FROM
                contract c
            LEFT JOIN provider p ON c.provider_id = p.id
            LEFT JOIN
                (SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id) ca ON ca.user_center_id = p.user_center_id
            WHERE
                p.photographer_type = '1'
                AND c.contract_version IN ('1', '0','3')

查看执行计划

MySql sql优化实例-LMLPHP

 MySql sql优化实例-LMLPHP

整体耗时从1.849s->1.177s

由于业务原因,在不改变业务需求的请求,目前还没想更加优化的方案,如果有大佬有啥好的建议,可以给点优化建议;非常感谢~

   

  

const 

03-29 20:14