当前位置： 首页 > news >正文

vLLM私有化部署大语言模型LLM

news 2025/6/23 17:59:22

目录

一、vLLM介绍

二、安装vLLM

 1、安装环境

 2、安装步骤

 三、运行vLLM

 1、运行方式

 2、切换模型下载源

 3、运行本地已下载模型

四、通过http访问vLLM

一、vLLM介绍

vLLM（官方网址：https://www.vllm.ai）是一种用于大规模语言模型（LLM）推理的框架，旨在提高模型的吞吐量和降低延迟。vLLM通过优化内存管理和调度策略，显著提升了模型在高并发场景下的性能。vLLM利用了一种名为PagedAttention的注意力机制，该机制借鉴了虚拟内存和分页技术，以减少缓存内存（KV Cache）的浪费，并允许在请求之间灵活共享KV缓存。这种设计使得vLLM在保持与现有系统相同延迟水平的情况下，能够将吞吐量提高2到4倍。特点：

  • 速度快： 在每个请求需要 3 个并行输出完成时的服务吞吐量。vLLM 比 HuggingFace Transformers（HF）的吞吐量高出 8.5 倍-15 倍，比 HuggingFace 文本生成推理（TGI）的吞吐量高出 3.3 倍-3.5 倍

  • 优化的 CUDA 内核

  • 灵活且易于使用

  • 与流行的 Hugging Face 模型（和魔塔社区）无缝集成

  • 高吞吐量服务，支持多种解码算法，包括并行抽样、束搜索等

  • 支持张量并行处理，实现分布式推理

  • 支持流式输出

  • 兼容 OpenAI API 

二、安装vLLM

 1、安装环境

  • 硬件CPU：12 vCPU Intel(R) Xeon
  • 内存MEM：48GB
  • 显卡：RTX 3080单卡
  • 操作系统：Ubuntu 22.04.1 LTS 
  • CUDA版本：cuda_11.8 （通过nvcc --version查看结果）   
  • 已安装：miniconda3版本：conda 22.11.1

 2、安装步骤

     根据vLLM官网的安装说明（网址：https://docs.vllm.ai/en/latest/getting_started/installation/ ），分为三大类：GPU、CPU、其他。 每类中根据具体的安排硬件平台不同还进行不同的细分。

    由于本文所用硬件环境是带CUDA的GPU，因此选择GPU-CUDA方式进行安装。

    步骤如下：

 1） 前置准备：对git增加LFS能力。Git LFS是一个扩展，允许将大文件（如音频、视频、数据集等）存储在Git仓库中，而不会显著增加仓库的大小或影响性能。通过安装Git LFS钩子（hooks），Git LFS能够自动处理这些大文件的上传和下载，确保它们以优化的方式存储在远程仓库中，并在需要时检索到本地。

#若Linux中未安装Git LFS（Large File Storage），则先安装
sudo apt-get install git-lfs#初始化，用于在本地Git仓库中安装Git Large File Storage（LFS）的钩子（hooks）。
git lfs install

 2） 通过miniconda创建虚拟环境，名为env-vllm

#通过conda创建一个新虚拟环境，指定虚拟环境中包括python3.12的packages
conda create -n env-vllm python=3.12 -y#激活使用该虚拟环境
conda activate env-vllm

  3） 在虚拟环境中，通过pip自动下载并安装vllm，过程可能需要几十分钟。注意需根据CUDA版本选择安装（由于低版本vLLM存在bug #8443导致VLLM_USE_MODELSCOPE环境变量不生效。在v0.6.3版本修复了该bug，所以直接下载适配CUDA 11.8的新版vllm）

#截止2025年初，默认安装vLLM’s binaries are compiled with CUDA 12.1 and public PyTorch release versions
pip install vllm#根据自身环境，若希望安装vLLM binaries compiled with CUDA 11.8 and public PyTorch release versions，则：
export VLLM_VERSION=0.6.1.post2
export PYTHON_VERSION=312
pip install https://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}+cu118-cp${PYTHON_VERSION}-cp${PYTHON_VERSION}-manylinux1_x86_64.whl --extra-index-url https://download.pytorch.org/whl/cu118#由于低版本vLLM存在bug #8443导致VLLM_USE_MODELSCOPE环境变量不生效。在v0.6.3版本修复了该bug，所以直接下载适配CUDA 11.8的新版vllm
pip install https://github.com/vllm-project/vllm/releases/download/v0.6.6.post1/vllm-0.6.6.post1+cu118-cp38-abi3-manylinux1_x86_64.whl --extra-index-url https://download.pytorch.org/whl/cu118

  4） 在虚拟环境中，可以使用pip show vllm对查看安装结果：

 三、运行vLLM

 1、运行方式

  通过以下可运行vllm，根据模型名称默认自动从 HuggingFace 下载并运行：

# ​运行vllm，根据模型名称默认自动从 HuggingFace 下载并运行
vllm serve "模型名称"# 也可以通过以下执行python代码方式运行vllm
python -m vllm.entrypoints.openai.api_server --model="模型名称" --trust-remote-code --port 8000

注：vllm运行有许多选项，可以通过vllm serve --help查看各个选项用途。或者查看官网文档：https://docs.vllm.ai/en/latest/serving/openai_compatible_server.html#command-line-arguments-for-the-server

 2、切换模型下载源

   vLLM的模型下载默认来源为 HuggingFace 。在国内访问很可能不畅，为此改从国内的 魔搭社区 下载模型。既在运行前先设置VLLM_USE_MODELSCOPE=True既可切换下载源为 魔搭社区 。 （注意：在HuggingFace与魔塔社区上模型名称可能略有不同）。

# 使用魔塔社区，需要先安装package
pip install modelscope
# ​设置环境变量VLLM_USE_MODELSCOPE=True切换下载源为：魔搭社区
# 注意：低版本vLLM存在bug #8443导致该环境变量不生效。在v0.6.3版本修复了该bug
export VLLM_USE_MODELSCOPE=True# ​运行vllm，由于设置了环境变量，根据模型名称默认自动从 魔搭社区 下载并运行
vllm serve "Qwen/Qwen2.5-0.5B-Instruct"
# 也可以通过以下执行python代码方式运行vllm
python -m vllm.entrypoints.openai.api_server --model="Qwen/Qwen2.5-0.5B-Instruct" --trust-remote-code --port 8000

 3、运行本地已下载模型

   除了以上自动下载的方式，还可以通过指定模型所在路径方式运行（需要先下载准备好），这样有几个好处：一是模型来源可以丰富多样，不仅仅局限以上两个平台；二是运行vLLM时无需再联网下载，比较适合内网服务器。 

   下面以模型“Yi-1.5-6B-Chat”为例， 提前通过git下载模型（需要确保lfs已经安装且初始化，具体见前文）。

cd /root/autodl-tmp/my_models
# 提前通过git下载模型（需要确保lfs已经安装且初始化，具体见前文）
git clone https://www.modelscope.cn/01ai/Yi-1.5-6B-Chat.git

  通过指定本地模型所在路径运行vLLM：

# ​运行vllm，指定本地模型所在路径
vllm serve "/root/autodl-tmp/my_models/Yi-1.5-6B-Chat"
# 也可以通过以下执行python代码方式运行vllm
python -m vllm.entrypoints.openai.api_server --model="/root/autodl-tmp/my_models/Yi-1.5-6B-Chat" --trust-remote-code --port 8000

  注：此例中，指定本地模型所在路径运行vLLM的模型名为：/root/autodl-tmp/my_models/Yi-1.5-6B-Chat

四、通过http访问vLLM

  vLLM提供了http接口。下面通过curl验证效果。

# Call the vllm server using curl:
curl -X POST http://localhost:8000/v1/chat/completions \-H "Content-Type: application/json" \--data '{"model": "Qwen/Qwen2.5-0.5B-Instruct","messages": [{"role": "user","content": "What is the capital of China?"}]}'

chat返回结果（已经格式化排版）如下 

{"id": "chatcmpl-f0cbdea8e1fb41528d1ec2cb0e198498","object": "chat.completion","created": 1736836496,"model": "Qwen/Qwen2.5-0.5B-Instruct","choices": [{"index": 0,"message": {"role": "assistant","content": "The capital of China is Beijing.","tool_calls": []},"logprobs": null,"finish_reason": "stop","stop_reason": null}],"usage": {"prompt_tokens": 36,"total_tokens": 44,"completion_tokens": 8,"prompt_tokens_details": null},"prompt_logprobs": null
}

  vLLM还暴露了各类metrics，供检测vllm的运行状态：

curl http://localhost:8000/metrics

 

http://www.lryc.cn/news/521207.html

相关文章：

  • OpenAI Whisper：语音识别技术的革新者—深入架构与参数
  • 基于当前最前沿的前端（Vue3 + Vite + Antdv）和后台（Spring boot）实现的低代码开发平台
  • 【Rust】错误处理机制
  • Logback日志技术
  • 9分布式微服务架构
  • Leecode刷题C语言之统计重新排列后包含另一个字符串的子字符串数目②
  • HTML和CSS相关的问题，为什么页面加载速度慢？
  • LiveGBS流媒体平台GB/T28181常见问题-没有收到视频流播放时候提示none rtp data receive未收到摄像头推流如何处理？
  • Flask表单处理与验证
  • 正泰电工携手图扑：变电站数字孪生巡检平台
  • 瑞芯微 RK 系列 RK3588 使用 ffmpeg-rockchip 实现 MPP 视频硬件编解码-代码版
  • uniapp 预加载分包，减少loading
  • c#删除文件和目录到回收站
  • GESP2024年12月认证C++六级( 第三部分编程题（1）树上游走）
  • Redis数据结构服务器
  • 【向量数据库 Milvus】centos8源码安装和部署 Milvus 2.5.3
  • MySQL数据库（SQL分类）
  • C++实现设计模式---原型模式 (Prototype)
  • 鸿蒙面试 2025-01-10
  • Linux Top 命令 load average 指标解读
  • 31_搭建Redis分片集群
  • 客户案例 | Ansys与索尼半导体解决方案公司合作推进自动驾驶汽车基于场景的感知测试
  • c#-Halcon入门教程——标定
  • MC1.12.2 macOS高清修复OptiFine运行崩溃
  • 精选2款.NET开源的博客系统
  • 转运机器人在物流仓储行业的优势特点
  • 简识MySQL的InnoDB Locking锁的分类
  • 如何通过openssl生成.crt和.key
  • .NetCore 使用 NPOI 读取带有图片的excel数据
  • linux上使用update-alternatives来选择软件版本