ollama 多实例部署
如果我们需要在一台服务器上使用多个ollama服务,那么我们需要进行将ollama前端和ollama后端对应连接的操作,否则就会出现如下场景:
我们可以在当前端口设置,这句话就是指明当前ollama实例使用哪个后端进行请求:
export OLLAMA_HOST="127.0.0.1:12345"
也可以直接追加到这个用户配置文件的后面:
不过记得设置新下载的ollama,并追加到用户配置文件(参考上图倒数第二行)
如果我们需要在一台服务器上使用多个ollama服务,那么我们需要进行将ollama前端和ollama后端对应连接的操作,否则就会出现如下场景:
我们可以在当前端口设置,这句话就是指明当前ollama实例使用哪个后端进行请求:
export OLLAMA_HOST="127.0.0.1:12345"
也可以直接追加到这个用户配置文件的后面:
不过记得设置新下载的ollama,并追加到用户配置文件(参考上图倒数第二行)