当前位置: 首页 > news >正文

第四节 chatPDF

一、Rag 向量数据库

1.向量相似度

欧式距离越小,相似度越高;余弦距离越大相似度越高。

2.配置向量模型

embedding: 嵌入,把…牢牢地嵌入

意思: 把文字转化为向量坐标嵌入到八维空间。

spring.ai.openai.embedding.options.dimensions=2048
spring.ai.openai.embedding.options.model=text-embedding-v4
3.使用EmbeddingModel

3.1 给测试脚本配置环境变量
OPENAI_API_KEY=sk-6c6026***854ca44

 

3.2 编辑测试脚本
package com.spring.springai;import com.spring.springai.mapper.CourseMapper;
import org.junit.jupiter.api.Test;
import org.springframework.ai.openai.OpenAiEmbeddingModel;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;import java.util.Arrays;import static org.junit.jupiter.api.Assertions.assertNotNull;@SpringBootTest
class SpringaiApplicationTests {@Autowiredprivate OpenAiEmbeddingModel openAiEmbeddingModel;@Testvoid contextLoads() {float[] floats = openAiEmbeddingModel.embed("学java就到黑马程序员");System.out.println(Arrays.toString(floats));}// 测试 mapper/*@Autowiredprivate CourseMapper mapper;@Testvoid testSelect() {assertNotNull(mapper.selectById(1));}*/}

3.3 测试欧式距离和余弦距离
package com.spring.springai;import com.spring.springai.mapper.CourseMapper;
import com.spring.springai.utils.VectorDistanceUtils;
import org.junit.jupiter.api.Test;
import org.springframework.ai.openai.OpenAiEmbeddingModel;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;import java.util.Arrays;
import java.util.List;import static org.junit.jupiter.api.Assertions.assertNotNull;@SpringBootTest
class SpringaiApplicationTests {@Autowiredprivate OpenAiEmbeddingModel openAiEmbeddingModel;@Testvoid contextLoads() {float[] floats = openAiEmbeddingModel.embed("学java就到黑马程序员");System.out.println(Arrays.toString(floats));}/*** 测试向量距离*/@Testpublic void testEmbedding() {// 1.测试数据// 1.1.用来查询的文本,国际冲突String query = "global conflicts";// 1.2.用来做比较的文本String[] texts = new String[]{
//                "哈马斯称加沙下阶段停火谈判仍在进行 以方尚未做出承诺","伊朗与以斯列互射导弹","胡塞武装公布魔法海洋号被击沉全程","74岁老戏骨捧花接小36岁未婚妻出狱","土耳其、芬兰、瑞典与北约代表将继续就瑞典“入约”问题进行谈判","日本航空基地水井中检测出有机氟化物超标","国家游泳中心(水立方):恢复游泳、嬉水乐园等水上项目运营","我国首次在空间站开展舱外辐射生物学暴露实验",};System.out.println("文本个数:" + texts.length);// 2.向量化System.out.println("------计算欧氏距离start------------");// 2.1.先将查询文本向量化float[] queryVector = openAiEmbeddingModel.embed(query);// 2.2.再将比较文本向量化,放到一个数组List<float[]> textVectors = openAiEmbeddingModel.embed(Arrays.asList(texts));// 3.比较欧氏距离// 3.1.把查询文本自己与自己比较,肯定是相似度最高的System.out.println(VectorDistanceUtils.euclideanDistance(queryVector, queryVector));// 3.2.把查询文本与其它文本比较for (float[] textVector : textVectors) {System.out.println(VectorDistanceUtils.euclideanDistance(queryVector, textVector));}System.out.println("------计算欧氏距离end,计算余弦距离 start------------");// 4.比较余弦距离// 4.1.把查询文本自己与自己比较,肯定是相似度最高的System.out.println(VectorDistanceUtils.cosineDistance(queryVector, queryVector));// 4.2.把查询文本与其它文本比较for (float[] textVector : textVectors) {System.out.println(VectorDistanceUtils.cosineDistance(queryVector, textVector));}System.out.println("------欧式距离越小,相似度越高;余弦距离越大相似度越高。------------");}// 测试1. mapper/*@Autowiredprivate CourseMapper mapper;@Testvoid testSelect() {assertNotNull(mapper.selectById(1));}*/}

结算结果:

参考:https://blog.csdn.net/2201_75669520/article/details/148813100

http://www.lryc.cn/news/583370.html

相关文章:

  • 神经网络基础及API使用详解
  • 机器学习(西瓜书) 第四章 决策树
  • 通用游戏前端架构设计思考
  • 自动化测试报告优化:jenkins+jmeter定制化HTML报告生成
  • skywalking-agent-docker镜像
  • 方差、协方差和协方差矩阵
  • Windows 10/11新系统跳过强制联网激活和注册微软账户
  • JavaScript数组键值去重方法
  • 【C++】容器适配器 + stack/queue/deque详解
  • EFK9.0.3 windows搭建
  • Ubuntu连接不上网络问题(Network is unreachable)
  • ubuntu环境下调试 RT-Thread
  • windows部署多实例filebeat监控相同路径下文件
  • 【Kafka】登录日志处理的三次阶梯式优化实践:从同步写入到Kafka多分区批处理
  • SAP-ABAP:SAP中DELECT语句用法详解实例总结
  • Go语言Gin框架实战:开发技巧
  • 2024 睿抗编程技能赛——省赛真题解析(含C++源码)
  • 【Python】遇到 “non-integer arg 1 for randrange() ” 问题的解决方法
  • 技术开发栈中 URL地址末尾加不加 “/“ 有什么区别?
  • 闲庭信步使用图像验证平台加速FPGA的开发:第六课——测试图案的FPGA实现
  • 解决IDEA缺少Add Framework Support选项的可行性方案
  • java中list.remove(item); // 直接移除会导致ConcurrentModificationException
  • 图像自动化处理初探:从拖拽上传到参数设置
  • 基于Java+Maven+Testng+Selenium+Log4j+Allure+Jenkins搭建一个WebUI自动化框架(5)失败用例截图与重试
  • 制作MikTex本地包可用于离线安装包
  • Synology Cloud Sync构建的企业级跨域数据中台
  • 前端性能优化:从之理论到实践的破局道
  • 【PTA数据结构 | C语言版】一元多项式求导
  • 使用 Docker 搭建 Rust Web 应用开发环境——AI教你学Docker
  • 图像处理中的凸包检测:原理与实现