【大模型】(实践版)Qwen2.5-VL-7B-Instruct模型量化以及运行测试

目录

■获取原始模型

■构建 llama.cpp 工具

■转换模型到 GGUF 格式

■量化和运行

■获取原始模型

安装依赖

pip3 install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple

下载原始模