当前位置: 首页 > news >正文

Mysql全文索引

引言

在MySQL 5.7.6之前,全文索引只支持英文全文索引,不支持中文全文索引,需要利用分词器把中文段落预处理拆分成单词,然后存入数据库。
从MySQL 5.7.6开始,MySQL内置了ngram全文解析器,用来支持中文、日文、韩文分词。

一般的数据库搜索都是用的SQL的like语句,like语句是不能利用索引的,每次查询都是从第一条遍历至最后一条,查询效率极其低下。一般数据超过10万或者在线人数过多,like查询都会导致数据库崩溃。这也就是为什么很多程序都只提供标题搜索的原因了,因为如果搜索内容,那就更慢了,几万数据就跑不动了。

Mysql 全文索引是专门为了解决模糊查询提供的,可以对整篇文章预先按照词进行索引,搜索效率高,能够支持百万级的数据检索。

一、全文解析器ngram

ngram就是一段文字里面连续的n个字的序列。ngram全文解析器能够对文本进行分词,每个单词是连续的n个字的序列。
MySQL 中使用全局变量 ngram_token_size 来配置 ngram 中 n 的大小,它的取值范围是1到10,默认值是 2。通常ngram_token_size设置为要查询的单词的最小字数。如果需要搜索单字,就要把ngram_token_size设置为 1。在默认值是 2 的情况下,搜索单字是得不到任何结果的。因为中文单词最少是两个汉字,推荐使用默认值 2。

  • 查看Mysql默认的ngram_token_size大小:
show variables like 'ngram_token_size';
  • 修改ngram_token_size 变量的两种设置方式:
  1. 启动mysqld命令时指定:
mysqld --ngram_token_size=2
  1. 修改mysql配置文件:
[mysqld] 
ngram_token_size=2

注意:修改mysql的配置文件中的ngram_token_size大小,需要重启数据库,且如果之前建有全文索引需要删除重建,因为更改 ngram_token_size 会影响索引的构建方式,从而影响查询结果的准确性和性能。

二、全文索引

  • 建表时创建全文索引:
create table sys_basics_word
(id                   bigint(20) not null comment '主键',chinese              varchar(255) comment '中文',thesaurus            varchar(255) comment '同义词',chinese_meaning      varchar(255) comment '中文含义',english_prototype    varchar(255) comment '英文原型',abbr                 varchar(255) comment '缩写',reference            varchar(255) comment '引用',chinese_and_thesaurus char(10) comment '中文和同义词',create_by            varchar(100) comment '创建者',create_date          datetime comment '创建时间',update_by            varchar(100) comment '更新者',update_date          datetime comment '更新时间',del_flag             char(1) default '0' comment '删除标记',FULLTEXT KEY `chinese_and_thesaurus` (`chinese_and_thesaurus`) WITH PARSER `ngram`,primary key (id)
);
  • 通过 alter table 方式:
ALTER TABLE sys_basics_word ADD FULLTEXT INDEX chinese_and_thesaurus(chinese_and_thesaurus) WITH PARSER ngram;
  • 通过 create index 方式:
CREATE FULLTEXT INDEX chinese_and_thesaurusON sys_basics_word (chinese_and_thesaurus) WITH PARSER ngram;

三、检索模式

  • 自然语言检索(IN NATURAL LANGUAGE MODE)
    自然语言模式是 MySQL 默认的全文检索模式。自然语言模式不能使用操作符,不能指定关键词必须出现或者必须不能出现等复杂查询。

  • 布尔检索(IN BOOLEAN MODE)
    剔除一半匹配行以上都有的词,例如,每行都有this这个词的话,那用this去查时,会找不到任何结果,这在记录条数特别多时很有用,原因是数据库认为把所有行都找出来是没有意义的,这时,this几乎被当作是stopword(中断词);布尔检索模式可以使用操作符,可以支持指定关键词必须出现或者必须不能出现或者关键词的权重高还是低等复杂查询。

全文索引比 like + % 快 N 倍,但是可能存在精度问题
如果需要全文索引的是大量数据,建议先添加数据,再创建索引
MATCH()函数使用的字段名,必须要与创建全文索引时指定的字段名一致,且只能是同一个表的字段不能跨表。

参考文章:
https://www.cnblogs.com/yuyanc/p/18134637
https://blog.csdn.net/weixin_44792849/article/details/123572516

http://www.lryc.cn/news/539776.html

相关文章:

  • 配置终端代理
  • 51单片机学习之旅——在LCD1602上显示时钟
  • Jest单元测试
  • C++字符串处理指南:从基础操作到性能优化——基于std::string的全面解析
  • JVM类加载过程详解:从字节码到内存的蜕变之旅
  • 【力扣Hot100详解】解锁“字母异位词分组”:用排序魔法一键通关力扣!
  • vite配置scss全局变量
  • Spring Boot01(注解、)---java八股
  • 2.19学习记录
  • 汽车免拆诊断案例 | 2013 款奔驰 S300L 车起步时车身明显抖动
  • 【HeadFirst系列之HeadFirst设计模式】第5天之工厂模式:比萨店的秘密武器,轻松搞定对象创建!
  • Redis如何解决热Key问题
  • 从开发到部署:EasyRTC嵌入式视频通话SDK如何简化实时音视频通信的集成与应用
  • Zookeeper(58)如何在Zookeeper中实现分布式锁?
  • Mac端homebrew安装配置
  • Spring 接入 DeepSeek
  • vscode将文件中行尾默认CRLF改为LF
  • python-leetcode 33.排序链表
  • 【数据结构初阶第十二节】设计循环队列
  • 基于微信小程序的民宿短租系统设计与实现(ssm论文源码调试讲解)
  • 使用 Jetty 构建 HTTPS 服务入门指南
  • 数据结构《图》
  • 用Chrome Recorder轻松完成自动化测试脚本录制
  • ⭐️苹果电脑安装windows10双系统【详细图文步骤保姆级教程】【本教材适用于MAC台式机、笔记本MacBook air和pro】
  • win10系统上的虚拟机安装麒麟V10系统提示找不到操作系统
  • Java 大视界 -- 开源社区对 Java 大数据发展的推动与贡献(91)
  • 深入浅出C语言内存模型——高阶篇
  • AI 百炼成神:逻辑回归, 垃圾邮件分类
  • MybatisPlus-扩展功能
  • 《计算机视觉》——角点检测和特征提取sift