当前位置: 首页 > news >正文

提升搜索体验!—— 推出 Elastic Rerank 模型(技术预览版)

作者:来自 Elastic Shubha Anjur Tupil

几分钟内即可开始使用 Elastic Rerank 模型:强大的语义搜索功能,无需重新索引,提供灵活性和成本控制;高相关性、顶级性能和文本搜索效率。

使用我们全新的先进跨编码器 Elastic Rerank 模型(技术预览版),将你的搜索体验提升至 11 级。重新排名模型可为任何搜索体验提供语义提升,而无需你更改数据架构,让你有空间在自己的时间和预算范围内探索其他语义相关性工具。

语义提升你的关键字搜索:无论你的数据今天存储、索引或搜索的位置或方式如何,语义重新排名都是一个简单的附加步骤,可让你通过语义理解提升现有的搜索结果。你可以根据需要灵活地应用此功能 - 无需更改现有数据或索引管道,并且你可以使用 Elastic 基础模型作为你的首选。

适合任何预算的选择灵活性:所有搜索体验都可以通过添加语义含义来改善,这通常通过使用密集或稀疏向量模型(例如 ELSER)来应用。但是,实现相关性目标并不需要一刀切的解决方案,而是需要混合搭配工具来平衡性能和成本。混合搜索就是这样一种选择,它通过使用 Elasticsearch 中的倒数排名融合 (reciprocal rank fusion - RRF) 将语义搜索与关键字搜索相结合来提高相关性。Elastic Rerank 模型现在是代替语义搜索增强搜索相关性的额外杠杆,让你可以灵活地优化相关性和预算。

我们最初在 serverless 上提供,但现在在 Elasticsearch 8.17 的技术预览版中可用,我们的模型的优势超过了当今市场上的其他模型。

高性能和高效:Elastic Rerank 模型优于其他明显更大的重新排名模型。它基于 DeBERTa v3 架构构建,并通过对多样化数据集的提炼进行了微调。我们的详细测试表明,在广泛的检索任务上提升了 40%,在问答数据集上提升了高达 90%。

相比之下,Elastic Rerank 模型在相关性方面明显更胜一筹,甚至与更大的模型相当。在我们的测试中,一些模型(例如 bge-re-ranker-v2-gemma)在相关性方面最接近,但在参数数量方面则大一个数量级。话虽如此,我们在 Open Inference API 中提供了集成,以便访问其他第三方重新排序程序,因此你可以轻松测试并亲自查看。

易于使用

Elastic Rerank 模型不仅具有出色的性能和成本特性,我们还使其非常易于使用,以提高词汇搜索的相关性。我们希望提供易于使用的原语,帮助你快速构建有效的搜索,而无需做出大量决策;从使用哪种模型到如何在搜索管道中使用它们。我们让它易于上手和扩展。

你现在可以将 Inference API 与 text_similiarity_reranker 检索器结合使用 Elastic Rerank。下载并部署后,每个搜索请求都可以处理完整的混合搜索查询,并在一个简单的 _search 查询中对结果集进行重新排序。

PUT _inference/rerank/elastic-rerank
{"service": "elasticsearch","service_settings": {"model_id": ".rerank-v1","num_allocations": 1,"num_threads": 1}
}

将 Elastic Rerank 模型集成到你的代码中非常容易,可以组合不同的检索器以将混合搜索与重新排名相结合。以下是使用 ELSER 进行语义搜索、使用 RRF 进行混合搜索并使用重新排名器对结果进行排名的示例。

GET retrievers_example/_search
{"retriever": {"text_similarity_reranker": {"retriever": {"rrf": {"retrievers": [{"standard": {"query": {"sparse_vector": {"field": "vector.tokens","inference_id": ".elser-2-elasticsearch","query": "Cobrai Kai was a homage to the greatest movie of all time!"}}}},{"knn": {"field": "vector","query_vector": [0.23,0.67,0.89],"k": 3,"num_candidates": 5}}],"rank_window_size": 10,"rank_constant": 1}},"field": "text","inference_id": "elastic-rerank","inference_text": "Which show continues the awesomeness of Karate Kid, the 1984 movie?"}},"_source": ["text", "topic"]
}

如果你拥有像我这样的有趣数据集,将对人工智能的热爱与 Cobrai Kai 结合起来,你将获得一些有意义的东西。

总结

  • 仅限英语的跨编码器模型
  • 语义提升你的关键字搜索,几乎不改变数据的索引和搜索方式
  • 对与索引和搜索分离的语义提升成本有更大的控制和灵活性
  • 重复使用你已经在 Elasticsearch 中拥有的数据
  • 显著提高相关性和性能(与明显更大的模型相比,在大量检索任务中平均提高 40%,在问答任务中提高高达 90%,使用超过 21 个数据集进行测试,平均 nDCG@10 提高 +13 分)
  • 易于使用,开箱即用;内置于 Elastic Inference API,易于加载和用于搜索管道
  • 在我们的产品套件中提供技术预览,最简单的入门方式是使用 Elasticsearch Serverless

如果你想阅读我们如何构建它的所有细节,请访问我们的 Search Labs 博客。

Elasticsearch 包含许多新功能,可帮助你为你的用例构建最佳搜索解决方案。深入了解我们的示例笔记本以了解更多信息,开始免费云试用,或立即在本地机器上试用 Elastic。

更多阅读:介绍 Elastic Rerank:Elastic 的新语义重新排序模型

原文:cRank it up! - Introducing the Elastic Rerank model (in Technical Preview) - Elasticsearch Labs

http://www.lryc.cn/news/501210.html

相关文章:

  • 【51单片机】程序实验1112.外部中断-定时器中断
  • webrtc-java:引领Java进入实时通信新时代
  • TongWeb7-东方通快速使用手册
  • JVM内存区块
  • C语言单元总结
  • 通过PS和Unity制作2D动画之一:创建形象
  • Notable是一款优秀开源免费的Markdown编辑器
  • 基于MFC绘制门电路
  • C—指针初阶(2)
  • Linux 基础环境的开发工具以及使用(下)
  • constexpr、const和 #define 的比较
  • 期末复习-Hadoop综合复习
  • 禁用SAP Hana错误密码锁定用户功能
  • Ubuntu 22.04加Windows AD域
  • qt实现窗口的动态切换
  • 第十七届山东省职业院校技能大赛 中职组“网络安全”赛项资源任务书样题②
  • 【Vulkan入门】09-CreateFrameBuffer
  • FPGA设计-Vivado的Off-Chip Termination设置问题
  • GC常见垃圾回收算法,JVM分代模型
  • 面试题整理(三)
  • 可视化建模以及UML期末复习----做题篇
  • PostGIS分区表学习相关
  • JavaEE 【知识改变命运】03 多线程(3)
  • Flash操作 原子写 非原子写
  • 厦门凯酷全科技有限公司怎么样?
  • ubuntu 18.04设置命令行历史记录并同时显示执行命令的时间
  • 推荐系统里面的多任务学习概述
  • 解决uview ui赋值后表单无法通过验证
  • 【GL010】C/C++总结(二)
  • 【合作原创】使用Termux搭建可以使用的生产力环境(五)