当前位置： 首页 > news >正文

大模型量化技术-GPTQ

news 2025/8/24 0:15:18

大模型量化技术-GPTQ

2022年，Frantar等人发表了论文 GPTQ：Accurate Post-Training Quantization for Generative Pre-trained Transformers。
在这里插入图片描述

在这里插入图片描述

这篇论文详细介绍了一种训练后量化算法，适用于所有通用的预训练 Transformer模型，同时只有微小的性能下降。

GPTQ算法需要通过对量化模型进行推理来校准模型的量化权重。详细的量化算法在原始论文中有描述。

基于auto-gptq 开源实现库，transformers 支持使用GPTQ算法量化的模型。
在这里插入图片描述

在这里插入图片描述

GPTQ：Accurate

http://www.lryc.cn/news/333353.html

相关文章：

  • NzN的数据结构--实现双向链表
  • easyexcel-获取文件资源和导入导出excel
  • Android Monkey自动化测试
  • C++ //练习 11.20 重写11.1节练习（第376页）的单词计数程序，使用insert代替下标操作。你认为哪个程序更容易编写和阅读？解释原因。
  • Nginx 安装与实践
  • QT 创建线程的几种方法
  • RocketMQ的简单使用
  • 速盾：服务器有cdn 带宽上限建议多少
  • 智慧工地安全+绿色施工方案
  • SQL Server 存储过程：BBS论坛（表结构文档下载及30个存储过程）
  • 03 Python进阶：MySQL - mysql-connector
  • InnoDB 行记录格式(“存储一行行数据的结构“)
  • 【洛谷】P9236 [蓝桥杯 2023 省 A] 异或和之和
  • ThreadLocal加切面实现线程级别的方法缓存
  • 使用 Flume 将 CSV 数据导入 Kafka：实现实时数据流
  • 对代理模式的理解
  • #QT项目实战（天气预报）
  • 数据挖掘|关联分析与Apriori算法详解
  • ChatGPT Excel 大师
  • C 语言中的 end, _end 符号
  • 绿联 安装PDF工具
  • 备战蓝桥杯---数论相关问题
  • 苹果手表Apple Watch录了两个半小时的录音，却只能播放4秒，同步到手机也一样，还能修复好吗？
  • RGB三通道和灰度值的理解
  • ARM、X86、RISC-V三分天下
  • 力控机器人原理及力控制实现
  • 最小生成树
  • 二维动画制作软件 Animate 2024 for mac激活版
  • 相对论中关于光速不变理解的补充
  • 面试（04）————JavaWeb