3步实现OPT-6.7B无损量化：用自定义数据集省70%显存，精度仅跌2.3%
实战：使用自定义数据集量化模型
模型量化技术的核心目标是通过领域适配性校准，在保持模型推理精度的前提下实现显存占用优化。本章将以 Meta OPT-6.7B 模型为例，详解如何基于自定义数据集实现 GPTQ 和 AWQ 量化方案的精准适配。
一、为什么需要自定义数据集？
传统量化方案（如使用 c4、wikitext2 等通用数据集）存在两个显著缺陷：
-
领域偏差问题
通用文本的统计分布与垂直领域数据差异显著，导致量化后模型在专业场景表现下滑
-
