Ollama 如何在显存资源有限的情况下合理分配给不同的服务？

在 Windows PowerShell 中启动两个 Ollama 实例的推荐步骤是：

1. 打开第一个 PowerShell 窗口，并执行：

   $env:OLLAMA_HOST="0.0.0.0:11434"
   ollama serve
   

2. 打开第二个 PowerShell 窗口，并执行：

   $env:OLLAMA_HOST="0.0.0.0:11435"
   ollama serve
   

这样，你将有两个独立的 Ollama 进程在不同的端口上运行，不会造成模型和资源冲突。

使用 PowerShell 脚本启动服务

• 编写 start-ollama-multi.ps1 脚本文件，最好使用记事本，因为该文件格式必须是 带有 BOM 的 UTF-8。
• 请使用 PowerShell 7 或更高版本执行该脚本，在执行目录下会自动生成 4 个文件。

# start-ollama-multi.ps1Write-Host "正在启动 Ollama 服务在端口 11434..."
Start-Process -FilePath "ollama" `-ArgumentList "serve" `-Environment @{OLLAMA_HOST="0.0.0.0:11434"} `-NoNewWindow `-RedirectStandardOutput "ollama_11434.log" `-RedirectStandardError "ollama_11434_error.log"Write-Host "正在启动 Ollama 服务在端口 11435..."
Start-Process -FilePath "ollama" `-ArgumentList "serve" `-Environment @{OLLAMA_HOST="0.0.0.0:11435"} `-NoNewWindow `-RedirectStandardOutput "ollama_11435.log" `-RedirectStandardError "ollama_11435_error.log"Write-Host "两个 Ollama 服务已尝试启动。请检查 ollama_11434_error.log 和 ollama_11435_error.log 文件查看详细信息。"

当 Ollama 成功启动时，它的正常运行信息被写入了你指定的 _error.log 文件。这反而证明了你的脚本已经成功启动了 Ollama 进程。