bitsandbytes 遇到CUDA Setup failed despite GPU being available.
使用conda 管理环境时加载大模型会遇到bitsandbytes无法识别cuda的情况:
此处windows系统:
pip install bitsandbytes-windows
linux 系统:
将bitsandbytes版本降低至0.39.0
pip install bitsandbytes==0.39.0
使用conda 管理环境时加载大模型会遇到bitsandbytes无法识别cuda的情况:
此处windows系统:
pip install bitsandbytes-windows
linux 系统:
将bitsandbytes版本降低至0.39.0
pip install bitsandbytes==0.39.0