vllm serve的参数大全及其解释
以下是 vllm serve 的常见参数说明以及它们的作用：
1. 基本参数
model_tag
- 说明：用于指定要加载的模型，可以是 Hugging Face 模型仓库中的模型名称，也可以是本地路径。
- 示例：
vllm serve "gpt-neo-2.7B"
--config CONFIG
- 说明：允许从 YAML 配置文件加载参数。适合复杂配置。
- 示例：
vllm serve "gpt-neo-2.7B" --config /path/to/config.yaml
--host HOST 和 --port PORT
- 说明：设置服务运行的主机地址和端口。
- 默认值：
host=127.0.0.1，port=8000 - 示例：
vllm serve "gpt-neo-2.7B" --host 0.0.0.0 --port 8080
2. 模型加载与优化
--tensor-parallel-size
- 说明：设置 Tensor 并行的数量（多 GPU 分布式推理）。
- 示例：
--tensor-parallel-size 8
--cpu-offload-gb
- 说明：允许将部分模型权重或中间结果卸载到 CPU 内存中，模拟 GPU 内存扩展。
- 默认值：
0（禁用 CPU 卸载）。 - 示例：
--cpu-offload-gb 128
--gpu-memory-utilization
- 说明：指定 GPU 内存利用率，值为 0-1 的小数。
- 默认值：
0.9 - 示例：
--gpu-memory-utilization 0.8
--max-model-len
- 说明：模型的最大上下文长度（序列长度）。
- 示例：
--max-model-len 16384
--max-num-batched-tokens
- 说明：每批次处理的最大 token 数量。适用于优化吞吐量。
- 示例：
--max-num-batched-tokens 60000
--dtype
- 说明：设置数据类型，通常用于控制权重和激活值的精度。
float32：32位浮点数（精确但消耗内存）。float16：16位浮点数（推荐）。bfloat16：16位浮点数（适合 NVIDIA A100 等设备）。
- 示例：
--dtype float16
3. 日志与调试
--uvicorn-log-level
- 说明：控制
uvicornWeb 服务器的日志级别。 - 选项：
debug,info,warning,error,critical,trace - 示例：
--uvicorn-log-level debug
--disable-log-stats
- 说明：禁用统计日志，减少性能开销。
- 示例：
--disable-log-stats
--disable-log-requests
- 说明：禁用请求的日志记录。
- 示例：
--disable-log-requests
4. 分布式设置
--distributed-executor-backend
- 说明：设置分布式推理的执行后端。
- 选项：
ray,mp（多进程） - 默认值：
ray（如果安装了 Ray） - 示例：
--distributed-executor-backend ray
--pipeline-parallel-size
- 说明：设置流水线并行的阶段数量。
- 示例：
--pipeline-parallel-size 4
5. 前端与安全
--api-key
- 说明：启用 API 访问控制，客户端需提供此密钥。
- 示例：
--api-key my_secure_api_key
--ssl-keyfile 和 --ssl-certfile
- 说明：配置 HTTPS 证书，启用安全通信。
- 示例：
--ssl-keyfile /path/to/keyfile.pem --ssl-certfile /path/to/certfile.pem
--disable-fastapi-docs
- 说明：禁用 FastAPI 的 OpenAPI 文档（Swagger UI）。
- 示例：
--disable-fastapi-docs
6. 调度与优化
--swap-space
- 说明：每个 GPU 的 CPU 换页空间（GiB）。
- 示例：
--swap-space 8
--max-num-seqs
- 说明：每次迭代的最大序列数量，适合控制吞吐量。
- 示例：
--max-num-seqs 16
--enable-prefix-caching
- 说明：启用前缀缓存以减少重复计算。
- 示例：
--enable-prefix-caching
7. 特殊用途参数
--quantization
- 说明：设置量化方法，减少内存占用。
- 选项：
bitsandbytes：8位量化（推荐）。fp8：FP8（需要支持 FP8 的设备）。
- 示例：
--quantization bitsandbytes
--enable-lora
- 说明：启用 LoRA（低秩适配器）功能。
- 示例：
--enable-lora
示例命令
结合以上参数的一个完整示例：
vllm serve "defog/sqlcoder-70b-alpha" \--tensor-parallel-size 8 \--cpu-offload-gb 128 \--gpu-memory-utilization 0.9 \--max-model-len 16384 \--max-num-batched-tokens 60000 \--uvicorn-log-level debug
如需进一步调整，请参阅 vLLM 官方文档。