当前位置: 首页 > news >正文

ollama快速部署使用(windows版)

1、下载&安装

官网:Ollama,选择对于的操作系统,我这里使用windows进行操作。这里下载可能需要安全上网,下载好后直接安装即可使用。

2、验证安装

打开命令提示符或 PowerShell,输入以下命令验证安装是否成功:

ollama --version

3、修改ollama模型的存储位置

我的ollama安装位置:D:\ollama

模型默认下载位置:C:\Users\xxx\.ollama

首先在ollama安装的文件夹中创建一个ollamamodels文件夹,这个ollamamodels文件夹你也可以放在别的地方。

打开环境变量

在系统变量找到Path,点进去

将D:\ollama添加进去,点击确定。

然后在系统环境变量中点击新建

变量名为:OLLAMA_MODELS,地址为你上面创建存放模型的文件夹。这样下载的模型就会放在指定的文件夹中,不会占用c盘的空间。

4、ollama运行模型

ollama支持的模型:library

ollama服务启动:

ollama serve

ollama下载模型,这里以deepseek-r1:1.5b 为例:

ollama run deepseek-r1:1.5b 

我这里已经下载好了,可以看到直接进入对话界面了

查看显存占了大概三个G

ollama操作比较简单,其他操作如下:

(base) PS C:\Users\windows> ollama -h
Large language model runnerUsage:ollama [flags]ollama [command]Available Commands:serve       Start ollamacreate      Create a model from a Modelfileshow        Show information for a modelrun         Run a modelstop        Stop a running modelpull        Pull a model from a registrypush        Push a model to a registrylist        List modelsps          List running modelscp          Copy a modelrm          Remove a modelhelp        Help about any commandFlags:-h, --help      help for ollama-v, --version   Show version informationUse "ollama [command] --help" for more information about a command.

5、通过api调用ollama正在运行的模型

(1)通过requests来访问generate方法。

# pip install requests
import requests
import jsonOLLAMA_URL = "http://localhost:11434/api/generate"   # Ollama 默认地址
MODEL      = "deepseek-r1:1.5b"prompt = "用一句话介绍你自己"payload = {"model": MODEL,"prompt": prompt,"stream": False           # 关闭流式,直接一次性返回
}resp = requests.post(OLLAMA_URL, json=payload, timeout=120)
print(resp.json()["response"])

(2)通过requests来访问chat方法:

import requests, jsonOLLAMA_CHAT = "http://localhost:11434/api/chat"
MODEL = "deepseek-r1:1.5b"messages = [{"role": "user", "content": "1+1=?"},{"role": "assistant", "content": "2"},{"role": "user", "content": "再加 3 呢?"}
]payload = {"model": MODEL,"messages": messages,"stream": False
}resp = requests.post(OLLAMA_CHAT, json=payload)
print(resp.json()["message"]["content"])

(3)通过langchain来访问

需要安装的依赖

pip install langchain langchain_community
from langchain_community.llms import Ollamallm = Ollama(model="deepseek-r1:1.5b", base_url="http://localhost:11434")
print(llm.invoke("用一句话介绍你自己"))

6、总结

ollama比较适合新手部署小一点的模型,操作简便,如果部署大一点的模型可以尝试使用:欢迎来到 Xinference! — Xinference、vLLM - vLLM 文档,有问题可以评论区交流哈!!!

http://www.lryc.cn/news/589684.html

相关文章:

  • 【Java】【力扣】101.对称二叉树
  • Spring之核心容器(IoC,DI,基本操作)详解
  • 中国旅行社协会在京召开“文旅人工智能应用研讨会”,助力文旅创新发展
  • python —— 真二
  • 广州邮科光纤交换机的应用:网络世界中的幕后核心
  • 【Qt开发】Qt的背景介绍(二)-> 搭建Qt开发环境
  • SAP中批量处理角色(复制、修改、上载,生成)
  • Apache IoTDB(1):时序数据库介绍与单机版安装部署指南
  • Clip微调系列:《CLIP-Adapter: Better Vision-Language Models with FeatureAdapters》
  • 【Qt+error】error: use of undeclared identifier ‘MainWindow
  • QT技巧之快速搭建串口收发平台
  • C++ -- STL-- List
  • 上公网-从内网到公网
  • C++ 中两个类之间的通信方式
  • Linux 文件系统实现层详解:原理、结构与驱动衔接
  • C++回顾 Day7
  • 企业级实时流处理:Kafka Streams完整解决方案
  • 基于Springboot+UniApp+Ai实现模拟面试小工具五:权限校验参数校验及日志功能实现
  • 从抽象函数到可计算导数 ——SymPy 中占位、求导、代入的完整闭环
  • OpenAI GPT-4o技术详解:全能多模态模型的架构革新与生态影响
  • AJAX 开发中的注意点
  • cursor使用mcp连接mysql数据库,url方式
  • Python 程序设计讲义(1):PyCharm 安装教程
  • 网络基础10 业务访问控制--ACL与包过滤
  • HarmonyOS-ArkUI: Web组件加载流程1
  • 隐私计算四大主流开源框架:从学术研究到工业落地,附PySyft实战Demo
  • 【PTA数据结构 | C语言版】根据层序序列重构二叉树
  • 【PTA数据结构 | C语言版】前序遍历二叉树
  • 【UniApp】Vue2 scss 预编译器默认已由 node-sass 更换为 dart-sass
  • 快速了解 HTTPS