当前位置: 首页 > news >正文

企业本地大模型用Ollama+Open WebUI+Stable Diffusion可视化问答及画图

最近在尝试搭建公司内部用户的大模型,可视化回答,并让它能画图出来, 主要包括四块:

  1. Ollama 管理和下载各个模型的工具
  2. Open WebUI 友好的对话界面
  3. Stable Diffusion 绘图工具
  4. Docker 部署在容器里,提高效率

以上运行环境Win10, Ollama,SD直接装在windows10下, 然后安装Docker Desktop版, 将Open WebUI部署在Docker内

一 Ollama

        • 1. 修改存储路径
        • 2. 安装大模型和索引模型
        • 1. 提速改国内源下载:
        • 2. 修改默认存储位置
        • 1. 查看Ollama 关联
        • 2. 关联Stable Diffusion

直接去 https://ollama.com/ 下载安装

1. 修改存储路径

不改的话系统盘装不下,默认情况下ollama模型的存储目录如下:

macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\Users\<username>\.ollama\models

我的Windows10, 则需设置环境变量 OLLAMA_MODELS, 把它设置为所选目录。

OLLAMA_MODELS=D:\ollama-models

如果想在其他电脑用ip可以访问加环境变量,为了安全可以不加:

OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*

ollama 环境变量
默认端口:11434 , 打开显示Ollama is running 表示成功
ollama 是否成功安装

2. 安装大模型和索引模型

从这里查看模型库: https://ollama.com/library
下载 qwen2 qwen ,chinese, llama3 shaw/dmeta-embedding-zh 等模型

阿里巴巴的大模型:
ollama run  qwen
ollama run qwen:14b
ollama run qwen:32b
ollama run qwen:72b
ollama run qwen:110b   # 110b 表示该模型包含了 1100 亿(110 billion)个参数
​
​
脸书大模型:
ollama run llama2
ollama run llama3
ollama run llama3:8b
​
谷歌的大模型:
ollama run gemma
​
微软的大模型
ollama run phi3
​
显示所有模型
# ollama list
​
删除模型
# ollama rm llama3:latest

下载完后可以直接在CMD下与它对话:
ollama list

二 Docker

        • 1. 修改存储路径
        • 2. 安装大模型和索引模型
        • 1. 提速改国内源下载:
        • 2. 修改默认存储位置
        • 1. 查看Ollama 关联
        • 2. 关联Stable Diffusion

下载:https://www.docker.com/products/docker-desktop/ 最新版本, 我当时下载的l默认版本 4.31.1, 后来发现是大坑, 一会儿再讲原因, 后来重装了4.29.0,从这里下载历史版本:
https://docs.docker.com/desktop/release-notes/

1. 提速改国内源下载:
"registry-mirrors": ["https://hub-mirror.c.163.com",
http://www.lryc.cn/news/387054.html

相关文章:

  • Unity学习笔记---调试
  • Py之dashscope:dashscope的简介、安装和使用方法、案例应用之详细攻略
  • Go使用Gin框架开发的Web程序部署在Linux时,无法绑定监听Ipv4端口
  • 【图解大数据技术】Hadoop、HDFS、MapReduce、Yarn
  • AGPT•intelligence:带你领略全新量化交易的风采
  • HarmonyOS Next开发学习手册——创建轮播 (Swiper)
  • 【计算机视觉】mmcv库详细介绍
  • 【面试系列】Go 语言高频面试题
  • React 扩展
  • IT入门知识第八部分《云计算》(8/10)
  • Linux-笔记 全志T113移植正点4.3寸RGB屏幕笔记
  • Linux shell编程学习笔记59: ps 获取系统进程信息,类似于Windows系统中的tasklist 命令
  • 在Android中使用ProgressBar显示进度
  • Java基础面试题(简单版):
  • ​Chrome插件:Postman Interceptor 调试的终极利器
  • SpringBoot学习04-[定制SpringMVC]
  • QT拖放事件之六:自定义MIME类型的存储及读取demo
  • 架构师必知的绝活-JVM调优
  • 小米平板6系列对比
  • 用 Rust 实现一个替代 WebSocket 的协议
  • 【docker】2. 编排容器技术发展史(了解)
  • 吉利银河L6(官方小订送的3M) 对比 威固vk70+ks15
  • three.js实现雪花场景效果
  • 鸿蒙 HarmonyOS NEXT星河版APP应用开发-阶段一
  • Elasticsearch优化索引映射和设置
  • boss直聘招聘数据可视化分析
  • 小程序人脸分析
  • UML建模笔记
  • 初见SpringCloud ing
  • Python | Leetcode Python题解之第198题打家劫舍