当前位置: 首页 > news >正文

模型量化原理

1.制作量化校准表
激活值量化
与权重量化不同,激活值是动态变化的(随输入数据不同而变化,例如同一张图像和不同图像经过同一层的激活值分布可能差异很大)。
因此,激活值量化需要先通过 “校准(Calibration)” 步骤,用有代表性的数据集(校准集)统计其分布范围,再基于该范围进行量化。

权重量化

默认将不同输出通道对应的权重赋值不同的缩放系数,分组等于输出通道数,则不同的滤波器对应不同的缩放系数
KL 散度越小,两个分布越相似,量化误差越小
阈值(Threshold)
指校准过程中确定的浮点数据 “有效范围边界”,通常是激活值或权重的最大绝对值
最大值(Max Value)
指校准数据集上,模型某一层激活值或权重的实际最大数值(含正负,通常取绝对值后使用)。
是计算 “尺度” 的核心原始数据,直接反映该层数据的动态范围大小。
. 尺度(Scale)
量化的 “缩放比例因子”,计算公式为:尺度 = 阈值(或最大值) / 量化范围上限(如 int8 的量化范围是 - 128~127,上限取 127)。
作用是建立浮点数据与整型数据的映射关系,浮点值 × 尺度 = 量化后的整型值,反量化时整型值 ÷ 尺度 = 还原浮点值

三者关联逻辑
先通过校准数据集统计每层的最大值,确定数据原始动态范围。
基于最大值设定阈值(可直接用最大值,或通过 KL 散度等方法优化后确定),过滤无效数据。
用阈值和量化位宽的范围上限计算尺度,完成 “浮点→整型” 的缩放规则定义。

http://www.jsqmd.com/news/45992/

相关文章:

  • 日总结 29
  • AI浪潮下的行业变革:从气象到游戏,我们学到了什么
  • 2025.11.19 C 题解
  • 2025.11.20
  • 【比赛记录】2025CSP+NOIP 冲刺模拟赛合集Ⅵ
  • 智能座舱项目管理中多团队协作的创新之道 - 指南
  • 自指自洽,普世的逻辑,特别的因果
  • 3 分钟上手 SightAI:在你熟悉的工具里直接调用顶级大模型 - sight
  • 聚焦SAT高分核心需求:2025年值得信赖的5大辅导机构,覆盖全阶段备考
  • 2025.11.20博客
  • 2025.11.19 D 题解
  • P11626 [迷宫寻路 Round 3] 七连击 分析
  • 芯谷科技--高性能电动工具直流调速电路GS069 - 指南
  • 【个人成长笔记】在本地Windows系统中如何正确使用adb pull命令,把Linux环境中的记录或文件夹复制到本地中(亲测有效)
  • 钩子
  • IOI 2026 中国国家集训队作业(试题泛做)记录
  • 洛谷 B4411:[GESP202509 二级] 优美的数字 ← 嵌套循环
  • 2025年门窗十大品牌专业选购手册:行业评估报告 + 白皮书指引,选窗更安心!
  • 文字识别系统
  • 2025 门窗十大品牌精准选购指南:行业评估报告 + 白皮书护航,选窗不踩坑!
  • 写的都对_第二次软件工程作业
  • 深入解析:spark组件-spark core(批处理)-rdd血缘
  • 深入解析:开源 Linux 服务器与中间件(十二)FRP内网穿透应用
  • CF1542E1 Abnormal Permutation Pairs (easy version)
  • 网络流建模
  • 实用指南:GLM 智能助力・Trae 跨端个人任务清单
  • AT_agc050 总结
  • 补 二分法与图
  • SpringSecurity 集成 CAS Client 处理单点登录 - Higurashi
  • NOIP2025模拟赛12(炼石计划NOIP模拟赛第 19 套题目)