『大模型笔记』使用 vLLM 和 PagedAttention 快速提供 LLM 服务！
| 使用 vLLM 和 PagedAttention 快速提供 LLM 服务！ |
文章目录
- 一. 使用 vLLM 和 PagedAttention 快速提供 LLM 服务！
- 1.1. PagedAttention
- 二. 参考文献
- 小红书中文字幕视频：https://www.xiaohongshu.com/explore/66502b60000000000500433e
- 官网文档(推荐，里面有动图解释)：vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention
- 我的语雀：