当前位置: 首页 > news >正文

安装vllm的时候卡主:Collecting vllm-nccl-cu12<2.19,>=2.18 (from vllm)

按照vllm的时候卡主:

...
Requirement already satisfied: typing-extensions in /home/wangguisen/miniconda3/lib/python3.10/site-packages (from vllm) (4.9.0)
Requirement already satisfied: filelock>=3.10.4 in /home/wangguisen/miniconda3/lib/python3.10/site-packages (from vllm) (3.13.1)
Collecting ray>=2.9 (from vllm)Downloading https://pypi.tuna.tsinghua.edu.cn/packages/b4/46/1b63092ad7387448f0a8922c441054ee6d551236f642b27a0bc195d9a258/ray-2.23.0-cp310-cp310-manylinux2014_x86_64.whl (65.7 MB)━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 65.7/65.7 MB 3.1 MB/s eta 0:00:00
Collecting nvidia-ml-py (from vllm)Using cached https://pypi.tuna.tsinghua.edu.cn/packages/9f/fb/4abda63f347daa50fcbf068ebfe37e10e247565af5df8473ddb7b3836ba4/nvidia_ml_py-12.550.52-py3-none-any.whl (39 kB)
Collecting vllm-nccl-cu12<2.19,>=2.18 (from vllm)Using cached https://pypi.tuna.tsinghua.edu.cn/packages/41/07/c1be8f4ffdc257646dda26470b803487150c732aa5c9f532dd789f186a54/vllm_nccl_cu12-2.18.1.0.4.0.tar.gz (6.2 kB)

卡主了:

在这里插入图片描述
搜解决办法的时候发现有个issue里说:vllm 如果使用cuda11.7 需要使用版本小于等于0.2.0

所以:

pip install vllm==0.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

vllm与cuda版本有对应关系,请按照https://docs.vllm.ai/en/latest/getting_started/installation.html选择版本

https://github.com/modelscope/swift/blob/main/docs/source/LLM/VLLM%E6%8E%A8%E7%90%86%E5%8A%A0%E9%80%9F%E4%B8%8E%E9%83%A8%E7%BD%B2.md

http://www.lryc.cn/news/361748.html

相关文章:

  • O2O : Finetuning Offline World Models in the Real World
  • 嵌入式学习(Day:31 网络编程2:TCP)
  • 正则表达式 0.1v
  • 免费的仓库出入库管理软件有哪些?
  • python 办公自动化-生成ppt文本和图
  • 「动态规划」买卖股票的最佳时机
  • Java 并发编程面试二
  • 成功解决“ModuleNotFoundError: No Module Named ‘utils’”错误的全面指南
  • Nvidia Jetson/Orin +FPGA+AI大算力边缘计算盒子:公路智能巡检解决方案
  • 【Maxcompute】geohash转经纬度,经纬度转geohash,计算geohash九宫格
  • 【R语言基础】如何更新R版本
  • Python知识点10---函数
  • 有哪些挣钱软件一天能赚几十元?盘点十个能长期做下去的挣钱软件
  • CentOS7安装MySQL教程
  • 师彼长技以助己(3)逻辑思维
  • LeetCode:反转链表I
  • oracle linux7安装oracle11g0204
  • STM32--ADC
  • 【TB作品】msp430f149单片机,读取ds18b20温度,显示到数码管,串口发送温度到电脑
  • vue组合式和选项式
  • 使用OpenCV创建全景图像
  • Nios II 实现流水灯实验
  • Spring boot 随笔 1 DatasourceInitializer
  • vue3_组件间通信方式
  • mysql的锁(全局锁)
  • Spring Boot 整合开源 Tess4J库 实现OCR图片文字识别
  • 使用 Docker 和 Docker Compose 部署 Vue
  • 力扣linkedlist
  • springboot 启动原理、启动过程、启动机制的介绍
  • 大模型ChatGLM的部署与微调