Windows 11 部署 GPUStack 运行 DeepSeek
1. 介绍
DeepSeek 是一个强大的深度学习框架，适用于图像识别、自然语言处理等任务。GPUStack 是一个高效的 GPU 资源管理工具，能够帮助用户更好地利用 GPU 资源进行深度学习任务。本文将详细介绍如何在 Windows 11 系统上部署 GPUStack 并运行 DeepSeek。
2. 环境准备
2.1 硬件要求
- NVIDIA GPU（建议至少 8GB 显存）
- 多核 CPU（建议 Intel i5 或更高）
2.2 环境介绍
- Windows 11 操作系统
- CUDA Toolkit（建议版本 11.7 或更高）
CUDA 包含显卡驱动程序 - GPUStack 安装
3. 安装与配置
3.1 CUDA 安装
CUDA 12.8 下载地址
安装很简单，一路下一步。
3.2 GPUStack 安装
- 下载 GPUStack 安装包：
Invoke-Expression (Invoke-WebRequest -Uri "https://get.gpustack.ai" -UseBasicParsing).Content
安装过程中，回下载相关程序和插件。
GPUStack 使用80,10150,10151端口监听。
3.3 GPUStack 运行
http://localhost 访问 Dashboard。
3.4 安装 Deepseek
模型库
选择 Deepseek R1 模型
保存后，模型下载初始化，开始下载。
下载完成校验成功自动运行。
开始使用：
4. 模型对比总结
问题：请帮忙写一个 Sql Server 批量删除指定列表表的脚本
- R1 1.5B
- 速度很快，每秒3-4个TOKEN
- 输出结果真是没脸见，准确度差
- R1 14B
- 速度非常慢，每秒1-2个TOKEN
- 结果的准确度提高，和想要的偏差不大
- 体验毫无
5. 重启
电脑重启后，直接打开 PowerShell 运行 GPUStack Start 即可。
6. 14B 资源使用前后
使用DS 14B，资源跑满。
结束DS后。
6. 结论
在 Windows 11 系统上成功部署 GPUStack 并运行 DeepSeek。GPUStack 能够有效管理 GPU 资源，而 DeepSeek 则为深度学习任务提供了强大的支持。在这个时代，工作和生活真的是多姿多彩！
愿所有人，都能享受时代进步带来的便利。