vllm server返回404的一种可能得解决方案

我的 server 启动指令

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7  PYTHONPATH=${PYTHONPATH}:/root/experiments/vllm vllm serve ./models/DeepSeek-V3-awq --tensor-parallel-size 8 --trust-remote-code  --disable-log-requests --load-format dummy --port 8040 

client 端访访问后，server端返回：

就很奇怪，不都是直接访问 /v1/completions 这个路径吗？咋能404呢？

哦，原来是模型路径填错了

python benchmark_client.py \--backend vllm \--num_prompts 3000 \--warmup_round 1 \--concurrency 256 \--host localhost \--port 8000 \--model_name /test/models/DeepSeek-V3-awq      # <---------

启动server的时候写的是相对路径，这里写成绝对路径了
benchmark_client.py 这里是我的测试脚本，你看看你的请求头里的模型名字/路径改对了吗