当前位置: 首页 > news >正文

第三期书生大模型实战营之Llamaindex RAG实践

在这里插入图片描述

基础任务

任务要求:基于 LlamaIndex 构建自己的 RAG 知识库,寻找一个问题 A 在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答,借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力,截图保存。

streamlit界面代码:

import streamlit as st
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.huggingface import HuggingFaceLLMst.set_page_config(page_title="llama_index_demo", page_icon="🦜🔗")
st.title("llama_index_demo")# 初始化模型
@st.cache_resource
def init_models():embed_model = HuggingFaceEmbedding(model_name="/root/model/sentence-transformer")Settings.embed_model = embed_modelllm = HuggingFaceLLM(model_name="/root/model/internlm2-chat-1_8b",tokenizer_name="/root/model/internlm2-chat-1_8b",model_kwargs={"trust_remote_code": True},tokenizer_kwargs={"trust_remote_code": True})Settings.llm = llmdocuments = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()index = VectorStoreIndex.from_documents(documents)query_engine = index.as_query_engine()return query_engine# 检查是否需要初始化模型
if 'query_engine' not in st.session_state:st.session_state['query_engine'] = init_models()def greet2(question):response = st.session_state['query_engine'].query(question)return response# Store LLM generated responses
if "messages" not in st.session_state.keys():st.session_state.messages = [{"role": "assistant", "content": "你好,我是你的助手,有什么我可以帮助你的吗?"}]    # Display or clear chat messages
for message in st.session_state.messages:with st.chat_message(message["role"]):st.write(message["content"])def clear_chat_history():st.session_state.messages = [{"role": "assistant", "content": "你好,我是你的助手,有什么我可以帮助你的吗?"}]st.sidebar.button('Clear Chat History', on_click=clear_chat_history)# Function for generating LLaMA2 response
def generate_llama_index_response(prompt_input):return greet2(prompt_input)# User-provided prompt
if prompt := st.chat_input():st.session_state.messages.append({"role": "user", "content": prompt})with st.chat_message("user"):st.write(prompt)# Gegenerate_llama_index_response last message is not from assistant
if st.session_state.messages[-1]["role"] != "assistant":with st.chat_message("assistant"):with st.spinner("Thinking..."):response = generate_llama_index_response(prompt)placeholder = st.empty()placeholder.markdown(response)message = {"role": "assistant", "content": response}st.session_state.messages.append(message)
任务完成结果截图:
1. 先问问浦语家的xtuner是什么?


确认这个模型是不知道xtuner是什么,再加入xtuner的文档,再尝试一遍

在这里插入图片描述

2. 再问问2024奥运会举办在哪里?
from llama_index.llms.huggingface import HuggingFaceLLM
from llama_index.core.llms import ChatMessage
llm = HuggingFaceLLM(model_name="/root/model/internlm2-chat-1_8b",tokenizer_name="/root/model/internlm2-chat-1_8b",model_kwargs={"trust_remote_code":True},tokenizer_kwargs={"trust_remote_code":True}
)rsp = llm.chat(messages=[ChatMessage(content="2024奥运会举办在哪里?")])
print(rsp)

在这里插入图片描述
也不知道,再找到百度百科的资料加入data中:
在这里插入图片描述

http://www.lryc.cn/news/413937.html

相关文章:

  • 【从0到1进阶Redis】Jedis 理解事务
  • MySQL之Lost connection to MySQL server during query复现测试
  • 中国AI大模型场景探索及产业应用调研报告
  • Linux--shell脚本语言—/—<1>
  • 【java框架开发技术点】通过反射机制调用类中的私有或受保护的方法
  • 你知道这些鼎鼎大名的Java底层核心公司吗
  • C++入门级文章
  • modelsim仿真quartus IP
  • PCB设计经验——布线原则
  • C++进阶:设计模式___适配器模式
  • “八股文“在现代编程面试中的角色重塑:助力、阻力还是桥梁?
  • Android 安装应用-浏览阶段
  • JavaEE 初阶(10)——多线程8之“单例模式”
  • Javascript常见设计模式
  • JavaFX布局-SplitPane
  • 2.MySQL库的操作
  • 如何学习计算机
  • Spring MVC 快速入门指南及实战演示
  • 在线测评系统(未完结)
  • Python 爬虫项目实战(一):破解网易云 VIP 免费下载付费歌曲
  • PTA 6-7 统计某类完全平方数
  • PyFilesystem2 - Python 操作文件系统
  • Bug小记:关于servlet后端渲染界面时出现的问题小记1P
  • 智慧水务项目(二)django(drf)+angular 18 创建通用model,并对orm常用字段进行说明
  • <数据集>人员摔倒识别数据集<目标检测>
  • npm install 报错 ‘proxy‘ config is set properly. See: ‘npm help config‘
  • 爬虫问题---ChromeDriver的安装和使用
  • Spring的配置类分为Full和Lite两种模式
  • 探索Perl的代码生成艺术:利用编译器后端释放潜能
  • 21 B端产品经理之技术常识(1)