当前位置: 首页 > news >正文

【deepseek】ollama chatbox webui 本地部署deepseek 踩坑记录

部署

1、前往Ollama官网下载跨平台工具
官网直达:https://ollama.com/download

2、挑选适合自己设备的模型版本,获取运行指令
访问模型库:https://ollama.com/library/deepseek-r1

▌配置建议:
• 入门级:1.5B版本(4GB内存+核显可运行)
• 进阶推荐:7B版本(8GB内存+4GB显存)
• 高性能设备:32B版本(32GB内存+12GB显存)

  1. 一键部署模型(以32B为例)
    打开终端/CMD输入:ollama run deepseek-r1:32b

  2. 下载开源客户端Chatbox
    官网:https://chatboxai.app/zh
    支持中文界面与Markdown渲染,还有各种强大的功能,体验超过ChatGPT

  3. 关键配置指引
    ① API类型:选择"OpenAI API兼容"
    ② 接口地址:http://localhost:11434/v1
    ③ 模型名称:与之前下载的版本严格一致
    在这里插入图片描述

6、或者使用 webui页面:

pip install open-webui
open-webui serve

https://github.com/open-webui/open-webui

连通测试

curl http://localhost:11434/api/chat -d '{"model": "deepseek-r1:32b","messages": [{ "role": "user", "content": "why is the sky blue?" }]
}'

性能测试

4090 显卡,32B模型,输出速度: 31 token/s
预估电费成本:
30token/s*3600s/0.5 kwh/0.5 元 = 43w token/元
deepseek-r1-32B,电费成本:百万token ~2.3元
在这里插入图片描述

faq

修改 ollama 环境变量,解决网络联通问题

1、如果Ollama作为SystemD服务运行,则应使用systemctl设置环境变量
systemctl edit ollama.service
添加如下环境变量

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

2、重新加载 systemd

systemctl daemon-reload
3、重新启动 ollama
systemctl restart ollama
参考文档:
https://github.com/ollama/ollama/blob/main/docs/faq.md

http://www.lryc.cn/news/533213.html

相关文章:

  • 在离线的服务器上部署Python的安装库
  • 计算机网络笔记再战——理解几个经典的协议2
  • 设计高效的测试用例:从需求到验证
  • git reset 命令
  • docker被“遗忘”的那些参数该如何拯救
  • BFS算法——广度优先搜索,探索未知的旅程(下)
  • Python分享20个Excel自动化脚本
  • pytest+request+yaml+allure 接口自动化测试全解析[手动写的跟AI的对比]
  • 深入解析 FFmpeg 的 AAC 编解码过程
  • 嵌入式硬件篇---OpenMV串口通信json字符串
  • Python基于Django的课堂投票系统的设计与实现【附源码】
  • 蓝桥杯 Java 之输入输出
  • Kubernetes是什么?为什么它是云原生的基石
  • @emotion/styled / styled-components创建带有样式的 React 组件
  • Android 常用命令和工具解析之Battery Historian
  • 家用报警器的UML 设计及其在C++和VxWorks 上的实现01
  • k8s常见面试题2
  • CSS 伪类(Pseudo-classes)的详细介绍
  • 将Deepseek接入pycharm 进行AI编程
  • 【Ollama】一、介绍
  • ASP.NET Core JWT
  • 查询引擎:它们是什么以及为什么重要
  • 03/29 使用 海康SDK 对接时使用的 MysqlUtils
  • 2025.2.7 Python开发岗面试复盘
  • 一个sql只能有一个order by
  • Windows Docker笔记-在容器中运行项目
  • postgreSQL16.6源码安装
  • 寒假2.5
  • 定期删除一周前的数据,日志表的表空间会增长吗?
  • yum 安装mysql