当前位置：首页 > news >正文

ChatGLM3-6B大语言模型离线执行

news 2025/8/4 13:43:53

ChatGLM3-6B大语言模型离线执行

模型准备

一般而言，模型和模型参数可以通过如下三个模型源进行相应的下载：
HuggingFace | ModelScope | WiseModel
本实例中，使用的是HuggingFace的源下载，相应的地址如下：
HuggingFace

环境准备

从HuggingFace下载下来的模型，实际上是包含两个实际的模型库，为了保证模型的准确运行，我们需要对相应的模型库进行选择，例如，我们使用的是PyTorch的模型，因此需要删除另外一个使用safetensors的模型，删除的内容包括：

模型数据文件

模型数据文件

模型的配置文件

这些工作准备好后，直接安装requirements.txt 文件的相应安装包即可。

快速代码调用

cd C:\VM\Chatbot\ChatGLM3-main

加载相应的模块库文件

from transformers import AutoTokenizer, AutoModel

生成token

tokenizer = AutoTokenizer.from_pretrained(r"C:\VM\Chatbot\ChatGLM3-main\THUDM\chatglm3-6b", trust_remote_code=True)

模型的调用

# CPU调用
model = AutoModel.from_pretrained(r"C:\VM\Chatbot\ChatGLM3-main\THUDM\chatglm3-6b", trust_remote_code=True).float()
## GPU调用
model = AutoModel.from_pretrained(r"C:\VM\Chatbot\ChatGLM3-main\THUDM\chatglm3-6b", trust_remote_code=True,device='cuda').float()

模型实例化

 model = model.eval()

模型测试

response, history = model.chat(tokenizer, "Hello", history=[])
print(response)
response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
print(response)

执行完成后，系统的运行界面输出结果如下，说明运行成功。
在这里插入图片描述

异常处理

requests.exceptions.ProxyError: (MaxRetryError("HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /THUDM/chatglm3-6b/resolve/main/tokenization_chatglm.py (Caused by ProxyError('Unable to connect to proxy', OSError('Tunnel connection failed: 407 Proxy Authentication Required')))"), '(Request ID: 2bb04d30-be98-4bc9-aba4-0fbcce94da13)')

处理方案