当前位置: 首页 > news >正文

使用Ollama本地部署deepseek

1、下载安装Ollama

前往下载页面

https://ollama.com/download

下载好安装包,如同安装软件一样,直接安装即可
win中默认为C盘,如果需要修改到其他盘,查找具体教程
运行list命令,检查是否安装成功
在这里插入图片描述

2、修改模型下载的位置

各种不同的模型往往占据空间更大,因此选择一个空间足够的位置非常有必要
退出Ollama,打开任务管理器,清除当前Ollama程序
在这里插入图片描述

选择合适位置,创建模型存储的目标文件夹
添加文件夹到环境变量中
变量名固定为,文件夹根据自己情况定

OLLAMA_MODELS

在这里插入图片描述

3、拉取、运行模型命令

打开powershell运行如下命令即可

ollama run deepseek-r1:1.5b

在命令 ollama run deepseek-r1:1.5b 中,1.5b 的部分代表的是模型的大小,具体来说:

  • “b” 是 billion(十亿)的缩写。这里的 1.5b 表示模型的参数量大约为 1.5 billion(15亿)个参数。
  • 这种命名方式通常用于区分不同大小的模型。例如,1.5b 就是一个包含 15 亿个参数的模型。
    对于大规模深度学习模型来说,参数量的大小通常直接影响模型的性能和计算需求。不同大小的模型对应的 “b” 数字表示不同的参数量,这也反映出模型的容量和复杂度。

1、模型中的参数大小b越大更耗资源,

  1. 1.5b:表示模型有 15 亿个参数,通常是一个较大但相对轻量级的模型。
  2. 7b:表示模型有 70 亿个参数,参数越大,模型更强大、更复杂,性能更好,但计算成本和推理延迟也会增加。
  3. 13b、30b 等:参数数量进一步增加,代表更大的模型,这些模型的推理和训练可能需要更强的计算能力和更长的时间,但在一些任务上可能会表现得更加精确和复杂。

总结:
不同大小的 b 表示模型参数的数量,1.5b 代表 15 亿个参数的模型。参数越多,模型的计算能力通常越强,但对硬件的需求和推理速度也会有更大的影响。

2、不同大小参数需要的大致硬件配置

https://blog.csdn.net/2401_85343303/article/details/145452011
参考这个博客
在这里插入图片描述
这里使用最基础的1.5b来示例,也可以让更多的小伙伴体验到本地模型

3、拉取模型并运行

ollama run deepseek-r1:1.5b

有可能拉取服务包失败,经过检索是Ollama 的服务器故障,非常新鲜的故障
在这里插入图片描述

拉取模型清单:500 ·问题 #8873 ·OLLAMA/OLLAMA
https://github.com/ollama/ollama/issues/8873

在这里插入图片描述

等待Ollama服务恢复尝试,可以轻松拉取
也是开箱即用对,耐心等待拉取
在这里插入图片描述

等待拉取完成,即可进行对话
在这里插入图片描述

4、退出模型

ctrl+d来退出,或者使用命令 /bye

/bye

4、前端UI版

适合Ollama使用的前端有很多,经过筛选选择了极简的NextJS Ollama LLM UI

NextJS Ollama LLM UI 是专为 Ollama 设计的极简主义界面,适合追求简约风的小伙伴

https://github.com/jakobhoeg/nextjs-ollama-llm-ui

访问项目地址可以看到具体的使用步骤,也是开箱即用(需要简单的前端经验)

1、安装nvm
2、安装 Node.js (18+)
3、按照项目中的提示操作即可
在这里插入图片描述

这里需要注意下修改example.env to .env .这个操作要保证Ollama的默认端口没有修改
然后就是前端固定的 install 、 run dev
启动前端ui,即可访问

http://localhost:3000/

选择具体模型,然后就可以使用了

在这里插入图片描述

http://www.lryc.cn/news/533265.html

相关文章:

  • Rust错误处理:从灭火器到核按钮的生存指南
  • Golang:Go 1.23 版本新特性介绍
  • 电脑运行黑屏是什么原因?原因及解决方法
  • redis之AOF持久化过程
  • Elasticsearch:向量搜索的快速介绍
  • Docker在安装时遇到的问题(第一部分)
  • 使用 OpenGL ES 在 iOS 上渲染一个四边形:从基础到实现
  • Spring Boot 2 快速教程:WebFlux处理流程(五)
  • Vue 鼠标事件合集,关于鼠标右键的处理方法(改写鼠标右键方法、自定义鼠标右键)
  • 两种交换排序算法--冒泡,快速
  • 语音交友app系统源码功能及技术研发流程剖析
  • 零基础Vue入门7——状态管理Pinia
  • Bash (Bourne-Again Shell)、Zsh (Z Shell)
  • Android studio 创建aar包给Unity使用
  • DeepSeek R1 简单指南:架构、训练、本地部署和硬件要求
  • 图论常见算法
  • MySQL三大日志详解
  • 【SQL 中的分组查询与联合查询详解】
  • 【实战篇】用 Cursor 独立开发并上线电商类 Android APP 全攻略
  • quartus24.1版本子模块因时钟问题无法综合通过,FPGA过OOC问题复盘
  • 零基础Vue入门6——Vue router
  • 使用 Let‘s Encrypt 和 OpenResty 实现域名转发与 SSL 配置
  • Lambda 表达式
  • TCN时间卷积神经网络多变量多步光伏功率预测(Matlab)
  • 【Elasticsearch】 Composite Aggregation 详解
  • 如何通过 Logstash 将数据采集到 Elasticsearch
  • mysql的cpu使用率100%问题排查
  • centos虚拟机迁移没有ip的问题
  • 接入 deepseek 实现AI智能问诊
  • 用AVFrame + AVPacket 完成accede编码和直接用ffmpeg命令行实现acc编码的对比