【LLM】-05-提示工程-部署Langchain-Chat
目录
1、软硬件要求
1.1、软件要求
1.2、硬件要求
1.3、个人配置参考
2、创建cuda环境
3、下载源码及模型
4、配置文件修改
5、初始化知识库
5.1、训练自己的知识库
6、启动
7、API接口调用
7.1、使用openai
参考官方wiki，本文以Ubuntu20.04_x64，RTX4090，chatglm3-6b 模型为基础
1、软硬件要求
1.1、软件要求
- Linux Ubuntu 22.04.5 kernel version 6.7
开发者在以下环境下进行代码调试，在该环境下能够避免最多环境问题。
- Python 版本 == 3.11.7
- CUDA 版本: == 12.1
1.2、硬件要求
在GPU运行本地模型的 FP16 版本
- ChatGLM3-6B & LLaMA-7B-Chat 等 7B模型
- 最低显存要求: 14GB
- 推荐显卡: RTX 4080
- Qwen-14B-Chat 等 14B模型
- 最低显存要求: 30GB
- 推荐显卡: V100
- Yi-34B-Chat 等 34B模型
- 最低显存要求: 69GB
- 推荐显卡: A100
- Qwen-72B-Chat 等 72B模型
- 最低显存要求: 145GB
- 推荐显卡：多卡 A100 以上
一种简单的估算方式为：
FP16: 显存占用(GB) = 模型量级 x 2
Int4: 显存占用(GB) = 模型量级 x 0.751.3、个人配置参考
处理器: Intel® Core™ i9 processor 14900K
内存: 256 GB DDR5
显卡组: NVIDIA RTX4090 X 1 / NVIDIA RTXA6000 X 1
硬盘: 1 TB
操作系统: Ubuntu 22.04 LTS / Arch Linux, Linux Kernel 6.6.7
显卡驱动版本: 545.29.06
Cuda版本: 12.3 Update 1
Python版本: 3.11.7
2、创建cuda环境
# 创建chatchat 环境
conda create -n chatchat python=3.11.8# 激活环境
conda activate chatchat3、下载源码及模型
cd /home/chatchat
git clone --recursive https://github.com/chatchat-space/Langchain-Chatchat.git# 进入目录
cd Langchain-Chatchat# 安装全部依赖
pip install -r requirements.txt# 模型下载 chatglm3-6b
# 需要在hugging face中下载，依赖lfs 插件, 并且需要借助VPN
cd /home/chatchat/models
git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6bgit clone https://huggingface.co/BAAI/bge-large-zh-v1.5# git clone https://huggingface.co/THUDM/chatglm2-6b
# git clone https://huggingface.co/moka-ai/m3e-base
4、配置文件修改
1、在/home/chatchat/Langchain-Chatchat/configs目录下面找到model_config.py修改其中模型配置
我的目录结构
- Langchain-Chatchat
- models
--bge-large-zh
--chatglm3-6b
2、服务和端口配置项 server_config.py
通常，这个页面并不需要进行大量的修改，仅需确保对应的端口打开，并不互相冲突即可。
如果你是Linux系统推荐设置
DEFAULT_BIND_HOST ="0.0.0.0"
5、初始化知识库
当前项目的知识库信息存储在数据库中，在正式运行项目之前请先初始化数据库（我们强烈建议您在执行操作前备份您的知识文件）。
5.1、训练自己的知识库
cd /home/chatchat/models
# 文字转向量模型
git clone https://huggingface.co/BAAI/bge-large-zh- 如果您是第一次运行本项目，知识库尚未建立，或者之前使用的是低于最新master分支版本的框架，或者配置文件中的知识库类型、嵌入模型发生变化，或者之前的向量库没有开启
normalize_L2，需要以下命令初始化或重建知识库：
cd /home/chatchat/Langchain-Chatchat
python init_database.py --recreate-vs-
如果您已经有创建过知识库，可以先执行以下命令创建或更新数据库表：
cd /home/chatchat/Langchain-Chatchat
python init_database.py --create-tables如果可以正常运行，则无需再重建知识库。
6、启动
python startup.py -a
可视化页面
注意左侧的温度参数：Temperature。对回答结果有影响
启动参数
--all-webui为一键启动 WebUI 所有依赖服务；--all-api为一键启动 API 所有依赖服务；--llm-api为一键启动 Fastchat 所有依赖的 LLM 服务；--openai-api为仅启动 FastChat 的 controller 和 openai-api-server 服务；- 其他为单独服务启动选项。
若想指定非默认模型，需要用 --model-name 选项，示例：
python startup.py --all-webui --model-name Qwen-7B-Chat更多信息可通过 查看。
python startup.py -h 
7、API接口调用
7.1、使用openai
# 需要安装openai 依赖，如果报错，安装指定版本，
# pip install openai==0.28
import openai
openai.api_key = "EMPTY"
openai.api_base = "http://192.168.1.1:20000/v1"model = "chatglm3-6b"# create a chat completion
completion = openai.ChatCompletion.create(model=model,messages=[{"role": "user", "content": "你好"}]
)
print(completion.choices[0].message.content)