LLaMA模型量化方法优化:提高性能与减小模型大小
LLaMA模型量化方法优化:提高性能与减小模型大小
- LLaMA模型量化方法优化:提高性能与减小模型大小
- 引言
- 新增量化方法
- 性能评估
- 7B模型
- 13B模型
- 结果分析
- 结论
LLaMA模型量化方法优化:提高性能与减小模型大小
引言
在大型语言模型(LLM)的应用中,模型大小和推理速度一直是关键的挑战。最近,一项针对LLaMA模型的优化工作提出了一系列新的量化方法,旨在在保持模型性能的同时显著减小模型大小。本文将详细介绍这些新的量化技术及其带来的性能提升。
新增量化方法
该优化工作主要新增了以下几种量化类型:
- GGML_TYPE_Q2_K: 2比特量化,有效使用2.5625位/权重
- GGML_TYPE_Q3_K: 3比特量化,有效使用3.4375位/权重
- GGML_TYPE_Q4_K: 4比特量化,有效使用4.5位/权重
- GGML_TYPE_Q5_K: 5比特量化,有效使用5.5位/权重
- GGML_TYPE_Q6_K: 6比特量化,有效使用6.5625位/权重
- GGML_TYPE_Q8_K: 8比特量化,主要用于量化中间结果
基于这些基本量化类型,还定义了一系列"量化混合"方案,如LLAMA_FTYPE_MOSTLY_Q2_K、LLAMA_FTYPE_MOSTLY_Q3_K_S等,针对模型的不同部分采用不同的量化方法。
性能评估
研究者对7B和13B两种规模的LLaMA模型进行了详细的性能评估。评估指标包括困惑度(perplexity)、模型文件大小和单个token的推理时间。以下是部分结果:
7B模型
| 量化方法 | 困惑度 | 文件大小 | 推理时间(ms/token, RTX 4080) |
|---|---|---|---|
| F16 | 5.9066 | 13.0G | 60 |
| Q2_K | 6.7764 | 2.67G | 15.5 |
| Q3_K_M | 6.1503 | 3.06G | 17.0 |
| Q4_K_S | 6.0215 | 3.56G | 15.5 |
| Q5_K_S | 5.9419 | 4.33G | 16.7 |
| Q6_K | 5.9110 | 5.15G | 18.3 |
13B模型
| 量化方法 | 困惑度 | 文件大小 | 推理时间(ms/token, RTX 4080) |
|---|---|---|---|
| F16 | 5.2543 | 25.0G | - |
| Q2_K | 5.8545 | 5.13G | 25.3 |
| Q3_K_M | 5.4498 | 5.88G | 29.3 |
| Q4_K_S | 5.3404 | 6.80G | 26.2 |
| Q5_K_S | 5.2785 | 8.36G | 28.6 |
| Q6_K | 5.2568 | 9.95G | 30.0 |
结果分析
-
模型大小与性能权衡:新的量化方法在显著减小模型大小的同时,能够保持较好的性能。例如,7B模型的Q4_K_S量化方法将模型大小减小到原来的27%,同时困惑度仅增加2%。
-
量化精度与性能关系:随着量化位数的增加,模型性能逐渐接近原始F16模型。6比特量化(Q6_K)的困惑度已经非常接近F16模型,相对误差在0.1%以内。
-
推理速度:量化后的模型普遍能够获得更快的推理速度。以7B模型为例,Q4_K_S量化方法在RTX 4080上的推理速度比F16模型快近4倍。
-
模型规模对量化效果的影响:有趣的是,相对量化误差并不随着基础模型权重数量的增加而减小。13B模型似乎更适合量化,但30B和65B模型的相对量化误差又回到了7B模型的水平。
结论
这项研究为LLaMA模型提供了一系列新的量化选择,能够在不同的硬件资源限制下实现最佳性能。例如,2比特量化的30B模型可以在16GB显存的RTX 4080 GPU上运行,而其他版本则无法加载,这极大地提升了推理性能。
这些新的量化方法为大型语言模型的实际应用提供了更多可能性,使得在有限的计算资源下也能获得接近原始模型的性能。未来的研究可能会进一步优化这些量化技术,或探索它们在其他类型的神经网络中的应用。
reference:
- https://github.com/ggerganov/llama.cpp/pull/1684
- https://github.com/ggerganov/llama.cpp/discussions/2094