清华大学开源的chatGLM-6B部署实战

Windows部署

win10

通过wsl部署

常见问题：

torch.cuda.OutOfMemoryError: CUDA out of memory.

在Windows的系统环境变量中增加
变量名：PYTORCH_CUDA_ALLOC_CONF
变量值：max_split_size_mb:32
文档书写时使用3090 24G显存配置，其他规格酌情调整 32 至其他值，如未设置变量默认值128极大概率导致 CUDA OOM

无法正常启动：比如命令卡死、无响应、不继续执行等等非报错异常

无敌三步走
1.Ctrl+C 终止命令执行，重新执行命令
2.退出实例exit,关闭实例wsl --shutdown，启动并进入实例 wsl
3.重启电脑，重新进入实例，重新执行命令

查看虚拟化是否启用

调取任务管理器 Ctrl+Shift+Esc 或 Win+X -> T 或 任务栏-> 右键 -> 任务管理器
性能 -> CPU -> 右下角虚拟化已启用
其他方式自行搜索

1. 前置准备