MySQL查询效率优化：SQL语句优化技巧与实践

MySQL查询效率优化：SQL语句优化技巧与实践

引用

CSDN

1.

https://m.blog.csdn.net/geejkse_seff/article/details/146049673

在数据库应用中，查询效率的优化是提高系统性能的关键。本文将从多个维度深入探讨如何通过优化SQL语句来提升MySQL数据库的查询效率，包括插入数据优化、order by与group by优化、limit、count、update优化等。通过具体的SQL语句示例和原理分析，帮助读者掌握实用的优化技巧。

插入数据优化

在对数据库进行插入数据操作时，通常使用INSERT语句。然而，每次INSERT都会与数据库建立连接，频繁的插入操作会导致效率降低。为了优化这一过程，可以从以下几个方面入手：

INSERT优化

1. 批量插入

   INSERT INTO tb_test VALUES (1, 'Tom'), (2, 'Jerry'), (3, 'Bob');
   

2. 手动提交事务

   START TRANSACTION;
   INSERT INTO tb_test VALUES (1, 'Tom'), (2, 'Jerry'), (3, 'Bob');
   INSERT INTO tb_test VALUES (4, 'Tom4'), (5, 'Jerry5'), (6, 'Bob6');
   INSERT INTO tb_test VALUES (7, 'Tom7'), (8, 'Jerry8'), (9, 'Bob9');
   COMMIT;
   

3. 主键顺序插入
   主键乱序插入：8 1 9 21 88 2 4 15 89 5 7 3
   主键顺序插入：1 2 3 4 5 7 8 9 15 21 88 89

主键优化原理

在InnoDB存储引擎中，表数据都是根据主键顺序组织存放的，这种存储方式的表称为索引组织表。

页分裂

当我们插入数据的时候，页会进行分裂，页可以为空页可以填充一半也可以填充100%，每一页包含了2-N行数据(如果一行数据过大，行会溢出)，根据主键排列，主键顺序拆入如下所示：

如果我们想在下面的数据中再插入50的数据，由于前两页数据已经满员，因此会开辟一个新的分页
然后会找到第一个数据页50%的位置，23和47是超出了一半了，此时会先将这两个数据移动到新开辟的数据页，然后将新数据50再插入到这个数据页，此时再对链表指针进行一个重新的排布，让1号的数据页的下一个数据页为3号，3号后一个数据页才是2号，这种重新设置排序位置称为”页分裂“，所以乱序插入的情况下，可能就会发生页分裂现象：

页合并

当删除一行记录时，实际上记录并没有被物理删除只是记录被标记(flaged)为删除并且它的空间变得允许被其他记录声明使用，当页中删除的记录达到MERGE_THRESHOLD(默认为页的50%)，InnoDB会开始寻找最靠近的页(前或后)看看是否可以将两个页合并以优化空间使用：

2号数据页被删除一半数据之后，会检索后面3号数据页是否有合并的可能性，如果有就合并到2号数据页，那么3号数据页就可以空闲出来了：

空闲出来的数据页，如果后面再插入数据的话就可以直接插入到3号数据页当中就可以了：

主键设计原则

1. 在满足业务需求的情况下，尽量降低主键的长度。
   
2. 插入数据时，尽量选择顺序插入，选择使用AUTO_INCREMENT自增主键。
3. 尽量不要使用UUID做主键或者是其他自然主键，如身份证号。
4. 业务操作时，避免对主键的修改。

LOAD

如果一次性需要插入大批量数据，使用INSERT语句插入性能较低，此时可使用MySQL数据库提供的LOAD指令进行插入，可以将复合一定规律的文件通过LOAD操作变成表数据：

使用LOAD加载数据的主要步骤如下所示(这里主键顺序插入的性能也是高于乱序插入)：

-- 客户端连接服务器时，加上参数 --local-infile
mysql --local-infile -u root -p
-- 查看是否开启本地文件导入开关
SELECT @@local_infile;
-- 设置全局参数local_infile为1，开启从本地加载文件导入数据的开关
SET GLOBAL local_infile = 1;
-- 执行LOAD指令将准备好的数据，加载到表结构当中，通过逗号分割，换行符为止作为一行
LOAD DATA LOCAL INFILE '/root/sql1.log' INTO TABLE 'tb_user' FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n';

ORDER BY与GROUP BY优化

ORDER BY优化

对ORDER BY进行优化主要分为以下两种情况：

1. Using filesort：通过表的索引或全表扫描，读取满足条件的数据行，然后在排序缓冲区sort buffer中完成排序操作，所有不是通过索引直接返回排序结果的排序都叫FileSort排序。

2. Using index：通过有序索引顺序扫描直接返回有序数据，这种情况即为using index，不需要额外排序操作效率高。

-- 没有创建索引时，根据age，phone进行排序
EXPLAIN SELECT id, age, phone FROM emp ORDER BY age, phone;
-- 创建索引
CREATE INDEX idx_emp_age_phone ON emp(age, phone);
-- 创建索引后，根据age，phone进行升序排序
EXPLAIN SELECT id, age, phone FROM emp ORDER BY age, phone;
-- 创建索引后，根据age，phone进行降序排序
EXPLAIN SELECT id, age, phone FROM emp ORDER BY age DESC, phone DESC;
-- 创建索引
CREATE INDEX idx_emp_age_phone_ad ON emp(age ASC , phone DESC);
-- 创建索引后，根据age，phone进行降序排序
EXPLAIN SELECT id, age, phone FROM emp ORDER BY age ASC, phone DESC;

ORDER BY使用注意

1. 根据排序字段建立合适的索引，多字段排序时，也遵循最左前缀法则
2. 尽量使用覆盖索引
3. 多字段排序，一个升序一个降序，此时需要注意联合索引在创建时的规则(ASC/DESC）
4. 如果不可避免的出现filesort大数据量排序时，可以适当增大排序缓冲区大小sort_buffer_size(默认256k)

GROUP BY优化

在进行分组操作时，也可以通过索引来提高效率，当然索引的使用也是需要满足最左前缀法则，如下所示：

LIMIT、COUNT、UPDATE优化

LIMIT优化

一个常见又非常头疼的问题就是LIMIT 2000000,10，此时需要MySQL排序前2000010记录，仅仅返回2000000-2000010的记录其他记录丢弃查询排序的代价非常大，优化思路：一般分页查询时通过创建覆盖索引能够比较好地提高性能，可以通过覆盖索引加子查询形式进行优化：

EXPLAIN SELECT * FROM tb_sku t, (SELECT id FROM tb_sku ORDER BY id LIMIT 2000000,10) a WHERE t.id = a.id;

COUNT优化

MISAM引擎把一个表的总行数存在了磁盘上，因此执行COUNT()的时候会直接返回这个数效率很高；InnoDB引擎就麻烦了，它执行COUNT()的时候需要把数据一行一行地从引l擎里面读出来然后累积计数，优化思路：一般是通过自己定义的key和value自己进行计算，新增就累加删除就累减少，自己计数的方式进行：

COUNT()：是一个聚合函数，对于返回的结果集一行行地判断，如果COUNT函数的参数不是NULL累计值就加1否则不加，最后返回累计值。

COUNT用法主要有以下几种：

• COUNT(*)：InnoDB引擎并不会把全部字段取出来而是专门做了优化，不取值，服务层直接按行进行累加。
• COUNT(主键)：InnoDB引擎会遍历整张表把每一行的主键id值都取出来返回给服务层，服务层拿到主键后直接按行进行累加(主键不可能为null)。
• COUNT(字段)：没not null约束InnoDB引擎会遍历整张表把每一行的字段值都取出来，返回给服务层，服务层判断是否为null不为nul计数累加；有not null约束InnoDB引擎会遍历整张表把每一行的字段值都取出来返回给服务层，直接按行进行累加。
• COUNT(1)：InnoDB引擎遍历整张表但不取值，服务层对于返回的每一行放一个数字“1”进去直接按行进行累加。

按照效率排序的话，COUNT(字段)<COUNT(主键id)<COUNT(1)~COUNT()，所以尽量使用COUNT()。

UPDATE优化

InnoDB的行锁是针对索引加的锁，不是针对记录加的锁，并且该索引不能失效，否则会从行锁升级为表锁：

UPDATE student SET no='2000100100' WHERE id = 1;
UPDATE student SET no='2000100105' WHERE name='韦一笑';