Toggle navigation
漫步远方,心荡神往
All Posts
LEARNING
ARCHIVE
ABOUT
漫步远方,心荡神往
一文吃透模型量化(上):从浮点表示到 PTQ/QAT 范式
FP32/FP16/INT8/INT4/FP8、仿射映射、对称 vs 非对称、per-tensor vs per-channel、PTQ/QAT/动态 vs 静态/校准 —— 附全局对比表与可运行 PyTorch 代码
模型量化深度科普(上篇):先建立全局对比表,再把『地基层』讲透——浮点与定点表示(FP32/FP16/BF16/INT8/INT4/FP8)、浮点到整数的仿射映射 q=round(x/scale)+zp、对称 vs 非对称量化、per-tensor vs per-channel 粒度,以及量化为何能加速、反量化与伪量化。然后进入通用量化范式:PTQ 后训练量化、QAT 量化感知训练、动态 vs 静态量化、校准方法(MinMax/Percentile/KL/MSE)与异常值问题。每个概念给数值示例、公式推导与可运行代码,含一段『从零实现对称/非对称量化与反量化』的教学代码。下篇讲 LLM 专用方案。
Posted by
tanjunchen
on Monday, October 5, 2026
Software Developer