大模型管理工具：Ollama
目录
一、Ollama 介绍
二、Linux 安装 Ollama
2.1 一键安装
2.2 手动安装
三、使用Ollama
3.1 配置模型下载路径
3.2 运行模型
3.3 常用命令
四、模型管理
4.1 官方模型库
4.2 导入自定义模型
五、REST API
六、Web UI
一、Ollama 介绍
Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架，同时提供 REST API 管理和使用大模型。
二、Linux 安装 Ollama
2.1 一键安装
#安装
curl -fsSL https://ollama.com/install.sh | sh
#更新：再次执行安装脚本即可更新
curl -fsSL https://ollama.com/install.sh | sh
2.2 手动安装
1.下载Ollama二进制文件
curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
2.修改文件权限
chmod +x /usr/bin/ollama
3.创建ollama用户
sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
4.创建系统服务文件
vi /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3[Install]
WantedBy=default.target
5.启用服务
systemctl daemon-reload
systemctl enable ollama
6.启动Ollama
systemctl start ollama
7.更新Ollama
#重新下载二进制文件即可
curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
chmod +x /usr/bin/ollama
8.删除Ollama
具体操作查看官方文档。
三、使用Ollama
3.1 配置模型下载路径
export OLLAMA_MODELS=/data/weisx/ollama
3.2 运行模型
#第一次执行会下载模型到本地
ollama run llama3
3.3 常用命令
创建模型：
ollama create mymodel -f ./Modelfile
删除模型：
ollama rm llama3
复制模型：
ollama cp llama3 my-model
查看模型：
ollama list
运行模型：
ollama run llama3
四、模型管理
4.1 官方模型库
可访问官网查看模型列表，以下是一些常用模型示例：
| Model | Parameters | Size | Download |
|---|---|---|---|
| Llama 3 | 8B | 4.7GB | ollama run llama3 |
| Llama 3 | 70B | 40GB | ollama run llama3:70b |
4.2 导入自定义模型
途径1：从GGUF导入
1.下载GGUF文件
#Huggingface网站下载模型的GGUF
https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit
2、创建Modelfile文件
vi Modelfile
#使用FROM指令导入本地模型
FROM ./Llama3-8B-Chinese-Chat-GGUF-8bit.gguf
#Modelfile文件中还可以添加系统提示词以及各项参数
3. 创建模型
ollama create example -f Modelfile
4.运行模型
ollama run example
途径2：从PyTorch或Safetensors导入
具体操作请参阅关于导入模型的指南。
五、REST API
https://github.com/ollama/ollama/blob/main/docs/api.md
六、Web UI
https://github.com/open-webui/open-webui