当前位置: 首页 > news >正文

基于ES安装IK分词插件

前言


IK分词器插件是为Elasticsearch设计的中文分词插件,由Elasticsearch的官方团队之外的开发者medcl开发。它主要针对中文文本的分词需求,提供了较为准确的中文分词能力。以下是IK分词器插件的一些特点:

  1. 智能分词:IK分词器采用基于词典加双向最大匹配算法的分词策略,能够较为智能地处理中文文本。

  2. 支持自定义词典:用户可以根据自己的需求,向IK分词器中添加自定义词典,以此来提高分词的准确性。

  3. 多种分词模式

    • ik_max_word:会将文本做最细粒度的拆分,例如“中华人民共和国国歌”会被拆分为“中华人民共和国, 国歌”。
    • ik_smart:会进行智能分词,自动优化文本,例如“杭州市长江大桥”会被拆分为“杭州市, 长江大桥”。
  4. 繁体分词:IK分词器支持对繁体中文的分词。

  5. 英文识别:在分词时,IK分词器能够识别并保留英文单词。

  6. 数字识别:能够识别数字,并将它们作为整体进行分词。

  7. POJIE支持:IK分词器插件还支持POJIE(破解)模式,可以用于处理未授权的Elasticsearch实例。

  8. 易于集成:作为一个插件,IK分词器可以很容易地集成到现有的Elasticsearch项目中。

  9. 社区活跃:IK分词器由活跃的开源社区维护,不断更新和改进,以适应不断变化的中文分词需求。

安装IK分词器插件后,用户可以在Elasticsearch的索引设置中指定使用IK分词器,从而在索引和搜索中文文本时获得更好的效果。这对于中文搜索引擎、日志分析、数据处理等场景非常有用。

请注意,IK分词器插件的使用需要遵守相应的开源许可协议,且在使用前应确保其与你的Elasticsearch版本兼容。

IK分词插件的安装


1、下载资源包

##下载
https://github.com/infinilabs/analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip

2、上传到node01节点,并解压到es的插件目录中

##linux的目录地址
/opt/module/ElasticSearch/elasticsearch-7.6.2/plugins/ik

3、重启es使分词器生效

4、登录kibana,执行下面命令验证

# 智能分词
GET /_analyze
{"text": "中华人民共和国国歌","analyzer": "ik_smart"
}# 最细粒度分词
GET /_analyze
{"text": "中华人民共和国国歌","analyzer": "ik_max_word"
}

智能分词

最细粒度的分词

 

http://www.lryc.cn/news/362683.html

相关文章:

  • php项目加密源码
  • 测绘GIS和遥感领域比较好的公众号有哪些
  • 【技术实操】银河高级服务器操作系统实例分享,达梦数据库服务器 oom 问题分析
  • 通过ffmpeg 将wav格式转为mp3格式.
  • 快速上手RabbitMQ,直接上开发!
  • 如何实现单例模式及不同实现方法分析-设计模式
  • wampserver安装与汉化
  • 解决MyBatis的N+1问题
  • 12-学生们参加各科测试的次数(高频 SQL 50 题基础版)
  • 2024网络与信息安全管理员职工职业技能竞赛re0220164094
  • Elasticsearch--easy-ES框架使用,轻松操作查询Elasticsearch,简化开发
  • 【教程】如何实现WordPress网站降级(用于解决插件和主题问题)
  • 思维导图-vb.net开发带进度条的复制文件夹功能c#复制文件夹
  • Linux文本处理三剑客之awk命令
  • 公差和配合
  • AI大模型应用开发实践:5.快速入门 Assistants API
  • stack和queue的模拟实现
  • 你的手机是如何控制你的手表之广播篇
  • 深入理解并发之LongAdder、DoubleAdder的实现原理
  • virtuoso原理图无法编辑
  • Kotlin协程中的作用域 `GlobalScope`、`lifecycleScope` 和 `viewModelScope`
  • leetcode739 每日温度
  • 【软件测试】自动化测试如何管理测试数据
  • Llama 3-V: 比GPT4-V小100倍的SOTA
  • Anaconda安装配置
  • 全面理解渗透测试
  • 「网络编程」基于 UDP 协议实现回显服务器
  • 云数融合与大数据技术在日常生活中的创新应用探索
  • ETCD 备份与还原
  • LeeCode 1787 DP