《SQL基础》11. 索引
SQL - 索引
- 索引
- 概述
- 结构
- B-Tree
- B+Tree
- Hash
- 思考
- 分类
- 语法
- SQL性能分析
- SQL执行频率
- 慢查询日志
- profile详情
- explain执行计划
- 索引失效情况
- 范围查询
- 索引列运算
- 字符串不加引号
- 模糊查询
- or连接条件
- 数据分布影响
- 使用规则
- 最左前缀法则
- SQL提示
- 覆盖索引
- 前缀索引
- 设计原则
索引
概述
索引(index)是帮助MySQL 高效获取数据 的 数据结构(有序)。
在数据之外,数据库系统还维护着满足特定查找算法的数据结构,这些数据结构以某种方式引用(指向)数据, 这样就可以在这些数据结构上实现高级查找算法,这种数据结构就是索引。
演示:
注:上述二叉树索引结构只是示意图,并不是真实的索引结构。
索引优缺点:
优点 | 缺点 |
---|---|
提高数据检索的效率,降低数据库的IO成本 | 索引列要占用空间 |
通过索引列对数据进行排序,降低数据排序的成本,降低CPU的消耗 | 索引大大提高了查询效率,同时却也降低更新表的速度,如对表进行INSERT、UPDATE、DELETE时,效率降低 |
结构
MySQL的索引是在存储引擎层实现的,不同的存储引擎有不同的索引结构,主要包含以下几种:
优点 | 缺点 |
---|---|
B+Tree索引 | 最常见的索引类型,大部分引擎都支持B+树索引 |
Hash索引 | 底层数据结构是用哈希表实现的,只有精确匹配索引列的查询才有效,不支持范围查询 |
R-tree(空间索引) | 空间索引是MyISAM引擎的一个特殊索引类型,主要用于地理空间数据类型,通常使用较少 |
Full-text(全文索引) | 是一种通过建立倒排索引,快速匹配文档的方式。类似于Lucene,Solr,ES |
存储引擎对索引的支持:
索引 | InnoDB | MyISAM | Memory |
---|---|---|---|
B+tree索引 | 支持 | 支持 | 支持 |
Hash索引 | 不支持 | 不支持 | 支持 |
R-tree索引 | 不支持 | 支持 | 不支持 |
Full-text索引 | 5.6版本之后支持 | 支持 | 不支持 |
我们平常所说的索引,如果没有特别指明,都是指B+树结构组织的索引。
B-Tree
B-Tree,B树是一种多叉路衡查找树,相对于二叉树,B树每个节点可以有多个分支,即多叉。
以一颗最大度数(max-degree)为5(5阶)的b-tree为例,那这个B树每个节点最多存储4个key,5个指针:
度数指一个节点的子节点个数。
B+Tree
B+Tree是B-Tree的变种
以一颗最大度数为4的b+tree为例,其结构示意图:
- 绿色框框起来的部分,是索引部分,仅仅起到索引数据的作用,不存储数据。
- 红色框框起来的部分,是数据存储部分,在其叶子节点中要存储具体的数据。
B+Tree相对于B-Tree的区别:
- 所有的数据都会出现在叶子节点。
- 叶子节点形成一个单向链表。
- 非叶子节点仅仅起到索引数据作用,具体的数据都是在叶子节点存放的。
上述结构是标准的B+Tree数据结构。
MySQL中优化之后的B+Tree:
MySQL索引数据结构对经典的B+Tree进行了优化。在原B+Tree的基础上,增加一个指向相邻叶子节点的链表指针,就形成了带有顺序指针的B+Tree,提高区间访问的性能,利于排序。
Hash
哈希索引就是采用一定的hash算法,将键值换算成新的hash值,映射到对应的槽位上,然后存储在hash表中。
如果两个(或多个)键值,映射到一个相同的槽位上,他们就产生了hash冲突(也称为hash碰撞),可以通过链表来解决。
特点:
- Hash索引只能用于对等比较(=,in),不支持范围查询(between,>,<,…)
- 无法利用索引完成排序操作
- 查询效率高,通常只需要一次检索就可以,效率通常要高于B+tree索引
存储引擎支持:
在MySQL中,支持hash索引的是Memory存储引擎。而InnoDB中具有自适应hash功能,hash索引是InnoDB存储引擎根据B+Tree索引在指定条件下自动构建的。
思考
为什么InnoDB存储引擎选择使用B+tree索引结构?
- 对于二叉树,层级更少,搜索效率高
- 对于B-tree,无论是叶子节点还是非叶子节点,都会保存数据,这样导致一页中存储的键值减少,指针跟着减少,要同样保存大量数据,只能增加树的高度,导致性能降低
- 相对Hash索引,B+tree支持范围匹配及排序操作
分类
分类 | 含义 | 特点 | 关键字 |
---|---|---|---|
主键索引 | 针对于表中主键创建的索引 | 默认自动创建,只能有一个 | PRIMARY |
唯一索引 | 避免同一个表中某数据列中的值重复 | 可以有多个 | UNIQUE |
常规索引 | 快速定位特定数据 | 可以有多个 | |
全文索引 | 全文索引查找的是文本中的关键词,而不是比较索引中的值 | 可以有多个 | FULLTEXT |
在InnoDB存储引擎中,根据索引的存储形式,又可以分为以下两种:
分类 | 含义 | 特点 |
---|---|---|
聚集索引(Clustered Index) | 将数据存储与索引放到了一块,索引结构的叶子节点保存了行数据 | 必须有,而且只有一个 |
二级索引(Secondary Index) | 将数据与索引分开存储,索引结构的叶子节点关联的是对应的主键 | 可以存在多个 |
聚集索引选取规则:
- 如果存在主键,主键索引就是聚集索引。
- 如果不存在主键,将使用第一个唯一(UNIQUE)索引作为聚集索引。
- 如果表没有主键,或没有合适的唯一索引,则InnoDB会自动生成一个rowid作为隐藏的聚集索引。
聚集索引和二级索引的具体结构示例如下:
- 聚集索引的叶子节点下挂的是这一行的数据。
- 二级索引的叶子节点下挂的是该字段值对应的主键值。
这种先到二级索引中查找数据,找到主键值,然后再到聚集索引中根据主键值,获取数据的方式,称为回表查询。
思考:
以下两条SQL语句,那个执行效率高?注:id为主键,name字段创建的有索引;
A. select * from user where id = 10;
B. select * from user where name = ‘Arm’;
答:
A语句的执行性能要高于B语句。
思考:
InnoDB主键索引的B+tree高度为多高?
假设:
一行数据大小为1k,一页中可以存储16行这样的数据。InnoDB的指针占用6个字节的空间,主键即使为bigint,占用字节数为8。
若高度为2:
n * 8 + (n + 1) * 6 = 16 * 1024,算出n约为1170
1171 * 16 = 18736
也就是说,如果树的高度为2,则可以存储 18000 多条记录。
若高度为3:
1171 * 1171 * 16 = 21939856
也就是说,如果树的高度为3,则可以存储 2200w 左右的记录。
语法
创建常规索引:
CREATE INDEX 索引名 ON 表名 (字段1, ..., 字段n);
创建唯一索引:
CREATE UNIQUE INDEX 索引名 ON 表名 (字段1, ..., 字段n);
创建全文索引:
CREATE FULLTEXT INDEX 索引名 ON 表名 (字段1, ..., 字段n);
一个索引可以关联多个字段。
若一个索引只关联一个字段,称为单列索引。
若关联多个字段,则称为联合索引或组合索引。
查看索引:
SHOW INDEX FROM 表名;
删除索引:
DROP INDEX 索引名 ON 表名;
示例:
CREATE TABLE tb_user(id INT PRIMARY KEY AUTO_INCREMENT COMMENT '主键',name VARCHAR(50) NOT NULL COMMENT '用户名',phone VARCHAR(11) NOT NULL COMMENT '手机号',email VARCHAR(100) COMMENT '邮箱',profession VARCHAR(11) COMMENT '专业',age TINYINT UNSIGNED COMMENT '年龄',gender CHAR(1) COMMENT '性别, 1: 男, 2: 女',user_status CHAR(1) COMMENT '状态',createtime DATETIME COMMENT '创建时间'
) COMMENT '系统用户表';INSERT INTO tb_user (name, phone, email, profession, age, gender, user_status, createtime)
VALUES ('吕布', '17799990000', 'lvbu666@163.com', '软件工程', 23, '1', '6', '2001-02-02 00:00:00'), ('曹操', '17799990001', 'caocao666@qq.com', '通讯工程', 33, '1', '0', '2001-03-05 00:00:00'), ('赵云', '17799990002', '17799990@139.com', '英语', 34, '1', '2', '2002-03-02 00:00:00'), ('孙悟空', '17799990003', '17799990@sina.com', '工程造价', 54, '1', '0', '2001-07-02 00:00:00'), ('花木兰', '17799990004', '19980729@sina.com', '软件工程', 23, '2', '1', '2001-04-22 00:00:00'), ('大乔', '17799990005', 'daqiao666@sina.com', '舞蹈', 22, '2', '0', '2001-02-07 00:00:00'), ('露娜', '17799990006', 'luna_love@sina.com', '应用数学', 24, '2', '0', '2001-02-08 00:00:00'), ('程咬金', '17799990007', 'chengyaojin@163.com', '化工', 38, '1', '5', '2001-05-23 00:00:00'), ('项羽', '17799990008', 'xiaoyu666@qq.com', '金属材料', 43, '1', '0', '2001-09-18 00:00:00'), ('白起', '17799990009', 'baiqi666@sina.com', '机械工程及其自动化', 27, '1', '2', '2001-08-16 00:00:00'), ('韩信', '17799990010', 'hanxin520@163.com', '无机非金属材料工程', 27, '1', '0', '2001-06-12 00:00:00'), ('荆轲', '17799990011', 'jingke123@163.com', '会计', 29, '1', '0', '2001-05-11 00:00:00'), ('兰陵王', '17799990012', 'lanlinwang666@126.com', '工程造价', 44, '1', '1', '2001-04-09 00:00:00'), ('狂铁', '17799990013', 'kuangtie@sina.com', '应用数学', 43, '1', '2', '2001-04-10 00:00:00'), ('貂蝉', '17799990014', '84958948374@qq.com', '软件工程', 40, '2', '3', '2001-02-12 00:00:00'), ('妲己', '17799990015', '2783238293@qq.com', '软件工程', 31, '2', '0', '2001-01-30 00:00:00'), ('芈月', '17799990016', 'xiaomin2001@sina.com', '工业经济', 35, '2', '0', '2000-05-03 00:00:00'), ('嬴政', '17799990017', '8839434342@qq.com', '化工', 38, '1', '1', '2001-08-08 00:00:00'), ('狄仁杰', '17799990018', 'jujiamlm8166@163.com', '国际贸易', 30, '1', '0', '2007-03-12 00:00:00'), ('安琪拉', '17799990019', 'jdodm1h@126.com', '城市规划', 51, '2', '0', '2001-08-15 00:00:00'), ('典韦', '17799990020', 'ycaunanjian@163.com', '城市规划', 52, '1', '2', '2000-04-12 00:00:00'), ('廉颇', '17799990021', 'lianpo321@126.com', '土木工程', 19, '1', '3', '2002-07-18 00:00:00'), ('后羿', '17799990022', 'altycj2000@139.com', '城市园林', 20, '1', '0', '2002-03-10 00:00:00'), ('姜子牙', '17799990023', '37483844@qq.com', '工程造价', 29, '1', '4', '2003-05-26 00:00:00');# name字段为姓名字段,该字段的值可能会重复,为该字段创建索引。
CREATE INDEX idx_user_name ON tb_user(name);# phone手机号字段的值,是非空,且唯一的,为该字段创建唯一索引。
CREATE UNIQUE INDEX idx_user_phone ON tb_user(phone);# 为profession、age、status创建联合索引。
CREATE INDEX idx_user_pro_age_sta ON tb_user(profession, age, user_status);# 为email建立合适的索引来提升查询效率。
CREATE INDEX idx_email ON tb_user(email);# 完成上述的需求之后,查看tb_user表的所有的索引数据。
SHOW INDEX FROM tb_user;
SQL性能分析
SQL执行频率
查看数据库当前会话的访问频次:
SHOW SESSION STATUS LIKE 'Com_______';
查看数据库全局数据的访问频次:
SHOW GLOBAL STATUS LIKE 'Com_______';
- Com_delete:删除次数
- Com_insert:插入次数
- Com_select:查询次数
- Com_update:更新次数
通过上述指令,可以查看当前数据库是以查询为主,还是以增删改为主,从而为数据库优化提供参考依据。
如果是以增删改为主,可以考虑不对其进行索引的优化。如果是以查询为主,那么就要考虑对数据库的索引进行优化。
慢查询日志
慢查询日志记录了所有执行时间超过指定参数(long_query_time,单位:秒,默认10秒)的所有SQL语句的日志。
MySQL的慢查询日志默认没有开启。
查看慢查询日志是否开启:
SHOW VARIABLES LIKE 'slow_query_log';
如果要开启慢查询日志,需要在MySQL的配置文件(/etc/my.cnf)中配置如下信息:
# 开启MySQL慢日志查询开关
slow_query_log=1
# 设置慢日志的时间为2秒,SQL语句执行时间超过2秒,就会视为慢查询,记录慢查询日志
long_query_time=2
配置完毕之后,通过以下指令(Linux系统)重新启动MySQL服务器进行测试:
systemctl restart mysqld
慢日志文件保存:/var/lib/mysql/localhost-slow.log
profile详情
show profiles 能够帮助我们在做SQL优化时了解时间都耗费到哪里去了。
查看当前MySQL是否支持profile操作:
SELECT @@have_profiling;
查看profile是否开启:
SELECT @@profiling;
在当前会话开启profile:
SET SESSION profiling = 1;
全局开启profile:
SET GLOBAL profiling = 1;
查看每一条SQL的耗时基本情况:
SHOW profiles;
查看指定query_id的SQL语句各个阶段的耗时情况:
SHOW profile FOR query 指定query_id;
查看指定query_id的SQL语句CPU的使用情况:
SHOW profile cpu FOR query 指定query_id;
explain执行计划
EXPLAIN 或者 DESC 命令 获取 MySQL 如何执行 SELECT 语句的信息,包括在 SELECT 语句执行过程中表如何连接和连接的顺序。
语法:
EXPLAIN SELECT 字段列表 FROM 表名 WHERE 条件;
(直接在select语句之前加上关键字EXPLAIN或者DESC)
以语法示例中创建的tb_user表为例:
EXPLAIN SELECT * FROM tb_user WHERE id = 1;
Explain执行计划中各个字段的含义:
字段 | 含义 |
---|---|
id | select查询的序列号,表示查询中执行select子句或者操作表的顺序(id相同,执行顺序从上到下;id不同,值越大,越先执行) |
select_type | 表示SELECT的类型,常见的取值有 SIMPLE(简单表,即不使用表连接或者子查询)、PRIMARY(主查询,即外层的查询)、UNION(UNION 中的第二个或者后面的查询语句)、SUBQUERY(SELECT/WHERE之后包含了子查询)等 |
table | 操作的表 |
partitions | 匹配的分区 |
type | 表示连接类型,性能由好到差的连接类型为NULL、system、const、eq_ref、ref、range、 index、all |
possible_keys | 显示可能应用在这张表上的索引,一个或多个 |
key | 实际使用的索引,如果为NULL,则没有使用索引 |
key_len | 表示索引中使用的字节数,该值为索引字段最大可能长度,并非实际使用长度,在不损失精确性的前提下,长度越短越好 |
ref | 显示索引的哪一列被使用了,如果可能的话,是一个常数 |
rows | MySQL认为必须要执行查询的行数,在innodb引擎的表中,是一个估计值,可能并不总是准确的 |
filtered | 表示返回结果的行数占需读取行数的百分比,filtered的值越大越好 |
extra | 包含不适合在其它列中显示但十分重要的额外信息 |
索引失效情况
索引失效指没有用到索引,走的是全表扫描
范围查询
联合索引中,出现范围查询(>或<),范围查询右侧的列索引失效。
以语法示例中创建的tb_user表以及其联合索引为例:
explain select * from tb_user where profession = '软件工程' and age > 30 and user_status = '0';
当范围查询使用 > 或 < 时,走联合索引了,但是索引的长度为49,就说明范围查询右边的user_status字段是没有走索引的。
explain select * from tb_user where profession = '软件工程' and age >= 30 and user_status = '0';
当范围查询使用 >= 或 <= 时,走联合索引了,索引的长度为54,说明所有的字段都是走索引的。
所以,在业务允许的情况下,尽可能的使用类似于 >= 或 <= 这类的范围查询,而避免使用 > 或 < 。
索引列运算
不要在索引列上进行运算操作,索引将失效。
以语法示例中创建的tb_user表以及其phone字段单列索引为例:
explain select * from tb_user where substring(phone,10,2) = '15';
根据phone字段进行函数运算操作之后,索引失效。
字符串不加引号
字符串类型字段使用时,不加引号,索引将失效。
模糊查询
如果仅仅是尾部模糊匹配,索引不会失效。如果是头部模糊匹配,索引失效。
以语法示例中创建的tb_user表以及其联合索引为例:
# 索引生效
explain select * from tb_user where profession like '软件%';# 索引失效
explain select * from tb_user where profession like '%工程';
or连接条件
当or连接的条件,左右两侧字段都有索引时,索引才会生效。
数据分布影响
如果MySQL评估使用索引比全表更慢,则不使用索引。
查询时MySQL会评估,走索引快,还是全表扫描快,如果全表扫描更快,则放弃索引,走全表扫描。
使用规则
最左前缀法则
如果索引了多列(联合索引),要遵守最左前缀法则。
最左前缀法则指的是查询从索引的最左列开始,并且不跳过索引中的列。如果跳跃某一列,索引将会部分失效(后面的字段索引失效)。
以语法示例中创建的tb_user表以及其联合索引为例:
explain select * from tb_user where profession = '软件工程' and age = 31 and user_status = '0';
explain select * from tb_user where profession = '软件工程' and age = 31;
explain select * from tb_user where profession = '软件工程';
以上的这三组测试中,发现只要联合索引最左边的字段profession存在,索引就会生效,只不过索引的长度不同。而且由以上三组测试,也可以推测出profession字段索引长度为47、age字段索引长度为2、user_status字段索引长度为5。
explain select * from tb_user where age = 31 and user_status = '0';
通过上面这次测试,可以看到索引并未生效,原因是不满足最左前缀法则,联合索引最左边的列profession不存在。
explain select * from tb_user where profession = '软件工程' and user_status = '0';
上述的测试,存在profession字段,最左边的列是存在的,索引满足最左前缀法则的基本条件。但是查询时跳过了age列,所以后面的列索引是不会使用的,也就是索引部分生效,所以索引的长度就是47。
最左前缀法则中指的最左边的列,是指在查询时,联合索引的最左边的字段(即是第一个字段)必须存在,与我们编写SQL时条件编写的先后顺序无关。
SQL提示
SQL提示,是优化数据库的一个重要手段,简单来说,就是在SQL语句中加入一些人为的提示来达到优化操作的目的。
比如一个字段既有单列索引又有联合索引,则可以指定使用哪个索引。
建议MySQL使用指定索引完成此次查询:
SELECT 字段列表 FROM 表名 USE INDEX(索引名) WHERE 条件;
仅仅是建议,mysql内部还会再次进行评估
忽略指定的索引:
SELECT 字段列表 FROM 表名 IGNORE INDEX(索引名) WHERE 条件;
强制使用索引:
SELECT 字段列表 FROM 表名 FORCE INDEX(索引名) WHERE 条件;
覆盖索引
尽量使用覆盖索引,减少 select *。
覆盖索引是指查询使用了索引,并且需要返回的列在该索引中已经全部能够找到。
这样可以避免回表查询(见分类中的例子)
Using where; Using Index:查找使用了索引,但是需要的数据都在索引列中能找到,不需要回表查询数据。
Using index condition:查找使用了索引,但是需要回表查询数据
前缀索引
当字段类型为字符串(varchar,text,longtext等)时,有时候需要索引很长的字符串,这会让索引变得很大,查询时,浪费大量的磁盘IO,影响查询效率。
此时可以只将字符串的一部分前缀建立索引,可以节约索引空间,从而提高索引效率。
用前n个字符创建索引:
CREATE INDEX 索引名 ON 表名 (字段(n));
前缀长度可以根据索引的选择性来决定,而选择性是指不重复的索引值(基数)和数据表的记录总数的比值。索引选择性越高则查询效率越高。
唯一索引的选择性是1,是最好的索引选择性,性能也是最好的。
以语法示例中创建的tb_user表为例:
# 查询email是否有重复
SELECT COUNT(DISTINCT email) / COUNT(*) FROM tb_user;# 查询email前五个字符的选择性
SELECT COUNT(DISTINCT SUBSTRING(email, 1, 5)) / COUNT(*) FROM tb_user;
设计原则
- 针对于数据量较大,且查询比较频繁的表建立索引。
- 针对于常作为查询条件(where)、排序(order by)、分组(group by)操作的字段建立索引。
- 尽量选择区分度高的列作为索引,尽量建立唯一索引,区分度越高,使用索引的效率越高。
- 如果是字符串类型的字段,字段的长度较长,可以针对于字段的特点,建立前缀索引。
- 尽量使用联合索引,减少单列索引,查询时,联合索引很多时候可以覆盖索引,节省存储空间,避免回表,提高查询效率。
- 要控制索引的数量,索引并不是多多益善,索引越多,维护索引结构的代价也就越大,会影响增删改的效率。
- 如果索引列不能存储NULL值,请在创建表时使用NOT NULL约束它。当优化器知道每列是否包含NULL值时,它可以更好地确定哪个索引最有效地用于查询。