linux下非Docker模式部署Xinference并部署Rerank模型

背景：

记上一篇windows环境部署Xinference后尝试在linux下部署，该环境没有GPU，只有CPU。

材料：

1、运行命令 ：conda create -n transform_env python=3.10.18 创建基础环境并制定Python版本。

2、运行命令：conda activate transform_env 激活Xinference环境 

3、运行命令：conda env list 查看已创建的虚拟环境，其中带“*”的为当前激活环境                     

制作：

1、pip install xinference[all]=1.7.0.post1 进行 xinference 的安装。 

2、pip show xinference 查看版本

(/conda/transform_env) [root@MY59-160 ~]# pip show xinference
Name: xinference
Version: 1.7.0.post1
Summary: Model Serving Made Easy
Home-page: https://github.com/xorbitsai/inference
Author: Qin Xuye
Author-email: qinxuye@xprobe.io
License: Apache License 2.0
Location: /conda/transform_env/lib/python3.10/site-packages
Requires: aioprometheus, async-timeout, click, fastapi, gradio, huggingface-hub, modelscope, nvidia-ml-py, openai, passlib, peft, pillow, pydantic, pynv
ml, python-jose, requests, setproctitle, sse_starlette, tabulate, timm, torch, tqdm, typing_extensions, uvicorn, xoscar
Required-by: 

3、启动xinference（直接启动）

XINFERENCE_MODEL_SRC=modelscope XINFERENCE_HOME='/xinference_model/' xinference-local --host 0.0.0.0 --port 9997

解释：1、 XINFERENCE_MODEL_SRC=modelscope 表示模型下载地址为modelscope（阿里）

2、 XINFERENCE_HOME='/xinference_model/' 表示下载的模型在本地的存储路径，如/xinference_model/

4、启动xinference（nohup后台启动）

XINFERENCE_MODEL_SRC=modelscope XINFERENCE_HOME='/xinference_model/' nohup xinference-local --host 0.0.0.0 --port 9997 &> nohup.out &

5、启动完成，浏览器访问即可。

注意事项：

模型无法下载

# 配置模型下载仓库。默认下载源是 “huggingface”，也可以设置为 “modelscope” 作为下载源

 XINFERENCE_MODEL_SRC=modelscope （国内），huggingface很大概率拉不到，还有通过页面下载包选择镜像地址并不生效