在Win11上部署ChatGLM3详细步骤
023年10月27日，智谱AI于2023中国计算机大会（CNCC）上，推出了全自研的第三代基座大模型ChatGLM3及相关系列产品，这也是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。此次推出的ChatGLM3采用了独创的多阶段增强预训练方法，使训练更为充分。评测显示，在44个中英文公开数据集测试中，到目前为止ChatGLM3在国内同尺寸模型中排名首位。官方说明该模型的性能较前一代大幅提升，是10B以下最强基础大模型！重点来了，ChatGLM3在能力大幅增强的同时，依然是开源的、免费商用！
可以参考前面两章的部署文档：
在Win11上部署ChatGLM2-6B详细步骤--（上）准备工作-CSDN博客
在Win11上部署ChatGLM2-6B详细步骤--（下）开始部署-CSDN博客
项目下载模型地址：Ghttps://github.com/THUDM/ChatGLM3
下面的操作都是基于您已创建了python虚拟机，安装好pytorch等工作后的操作。如果不清楚准备工作的，请看上面两篇文章参考一下。
1、下载本仓库
git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM32、安装相关依赖
pip install -r requirements.txt其中 transformers 库版本推荐为 4.30.2，torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能。
3、本地加载模型
网上加载模型就不要想了，速度、速度啊。我们还是本地加载模型。
git clone https://huggingface.co/THUDM/chatglm3-6b这个地址下载不下来，可以去modelscope这个地址下载：
git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git全模型文件如下图：
4、下载后，按照之前的方法，创建一个文件夹，THUDM，把这些模型考贝到里面。修改模型路径，参考之前的修改方法。
5、网页加载的方式，还是两种
（1）python web_demo.py
（2）、通过Streamlit方式加载
streamlit run web_demo2.py
（3）命令行方式
python cli_demo.py