当前位置： 首页 > news >正文

个人电脑部署私有化大语言模型LLM

news 2025/8/3 5:59:23

个人电脑部署私有化大语言模型

首先要知道的是我们需要后端和前端，这里我们使用后端ollama，但是由于部署完后端之后，需要用命令行操作，不方便，
所以我们需要部署前端框架（chatbox AI, Stremlit(需要编程实现)）

Chatbox AI

是一款集多模型对话、文件解析、AI绘图、代码生成等功能于一体的全能AI助手，支持Windows、Mac、Linux、iOS、Android 及网页全平台。凭借简洁直观的界面设计、强大的本地化处理能力和开箱即用的云端服务，Chatbox AI 已成为提升工作效率的首选工具。
在这里插入图片描述

后端 ：ollama下载

https://ollama.com/download
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述、

可以search models搜索你需要的模型，我将部署deepseek所以直接点击第一个

在这里插入图片描述

点击deep seek后选择你需要部署的模型，这里我将部署最小的模型，点击箭头所指

在这里插入图片描述

点击上述箭头之后，会出现下述的命令行

在这里插入图片描述

把命令行输入到命令行窗口

ollama run deepseek-r1:1.5b

在这里插入图片描述

部署成功，可以使用命令行进行询问

在这里插入图片描述

前端部署 ：安装chatbox AI

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

部署成功

在这里插入图片描述

企业开发自己的Ai工具需要使用编码的前端框架 Stremlit,我先研究研究之后更新

http://www.lryc.cn/news/607765.html

相关文章：

  • Python爬虫实战：研究mahotas库，构建图像获取及处理系统
  • 重型机械作业误伤预警响应时间缩短80%！陌讯多模态识别算法在工程现场的应用优化
  • build文件夹下面的主要配置文件
  • Day 29: 复习
  • 设计模式篇：在前端，我们如何“重构”观察者、策略和装饰器模式
  • (LeetCode 面试经典 150 题) 138. 随机链表的复制 (哈希表)
  • PyTorch 中 Tensor 统计学函数及相关概念
  • linux编译基础知识-库文件标准路径
  • 3D，对比2D孰优孰劣？
  • SEA-RAFT：更简单、更高效、更准确的RAFT架构
  • 重生之我在暑假学习微服务第八天《OpenFeign篇》
  • 【C语言】内存函数与数据在内存中的存储
  • 推荐系统学习笔记（六）自监督学习
  • Kubernetes 构建高可用、高性能 Redis 集群实战指南
  • Ubuntu系统VScode实现opencv（c++）视频及摄像头使用
  • ffmpeg命令和ffplay命令详解
  • 垃圾收集器ParNewCMS与底层三色标记算法详解
  • 【云计算】云主机的亲和性策略（四）：云主机组
  • VAST视频广告技术实现：从零开始搭建视频广告投放系统
  • 【20min 急速入门】使用Demucs进行音轨分离
  • 【云计算】云主机的亲和性策略（三）：云主机 宿主机
  • 【Android】RecyclerView实现新闻列表布局（1）适配器使用相关问题
  • MySQL 运算符
  • 【Android】使用 Intent 传递对象的两种序列化方式
  • 【Android】进度条ProgressBar 可拖拽进度条Seekbar
  • Javaweb————Apache Tomcat服务器介绍及Windows,Linux,MAC三种系统搭建Apache Tomcat
  • Vue 详情模块 4
  • 分布式微服务--Nacos作为配置中心(二)
  • Text2SQL：如何通过自然语言直接获取数据，打破技术壁垒？
  • opencv自定义滤波