推理加速 | tanjunchen Blog | tanjunchen的博客

一文吃透模型量化（上）：从浮点表示到 PTQ/QAT 范式

FP32/FP16/INT8/INT4/FP8、仿射映射、对称 vs 非对称、per-tensor vs per-channel、PTQ/QAT/动态 vs 静态/校准 —— 附全局对比表与可运行 PyTorch 代码

模型量化深度科普（上篇）：先建立全局对比表，再把『地基层』讲透——浮点与定点表示（FP32/FP16/BF16/INT8/INT4/FP8）、浮点到整数的仿射映射 q=round(x/scale)+zp、对称 vs 非对称量化、per-tensor vs per-channel 粒度，以及量化为何能加速、反量化与伪量化。然后进入通用量化范式：PTQ 后训练量化、QAT 量化感知训练、动态 vs 静态量化、校准方法（MinMax/Percentile/KL/MSE）与异常值问题。每个概念给数值示例、公式推导与可运行代码，含一段『从零实现对称/非对称量化与反量化』的教学代码。下篇讲 LLM 专用方案。

一文吃透模型量化（下）：LLM 专用方案 LLM.int8/GPTQ/AWQ/SmoothQuant/NF4

异常值分离、Hessian 逐层量化、激活感知保护、难度平滑迁移、4-bit NormalFloat —— 专治大模型激活异常值与超大权重，附显存估算与可运行代码

模型量化深度科普（下篇）：承接上篇的地基与范式，讲透 5 大 LLM 专用量化方案。LLM.int8()：异常值分离+混合精度分解；GPTQ：基于 Hessian 二阶信息的逐层 weight-only 量化；AWQ：激活感知、保护显著权重通道；SmoothQuant：数学等价把激活量化难度平滑迁移给权重，使 W8A8 可行；NF4+双重量化：QLoRA 的 4-bit NormalFloat，为何比 INT4 更适配正态分布权重。解释为什么 LLM 激活异常值让 W8A8 比 CNN 更难、4-bit 权重量化对显存的决定性影响，配 transformers+bitsandbytes/auto-gptq/autoawq 可运行代码与显存吞吐估算。

一文看懂 KV Cache（下）：工程实践与未来趋势

SGLang（RadixAttention）与 vLLM（PagedAttention）如何管理 KV Cache，以及业界演进方向

KV Cache 科普（下篇）：拆解 SGLang（RadixAttention）与 vLLM（PagedAttention）两大主流框架的工程实践，以及连续批处理、Chunked Prefill、缓存感知调度、PD 分离与多级缓存等系统方案；最后展望 MLA、原生稀疏、低比特 KV、集群级 KV 调度等业界未来发展趋势。上篇讲原理与优化思路。

一文看懂 KV Cache（上）：从自回归原理到优化思路

为什么大模型推理离不开 KV Cache，以及围绕显存公式的一整套优化方法论

KV Cache 科普（上篇）：先讲清自回归推理的冗余计算问题、KV Cache 的原理与显存占用；再从 token 级 / 模型级 / 系统级三个层次，以及显存公式的每个因子（序列长度、头数、比特、头维度、层数、显存管理）梳理优化思路。下篇继续讲两大框架的工程落地与业界未来趋势。

深度剖析 DeepSeek-V4.1-Flash：把长上下文的成本曲线重写一遍

从 CED、CSA2、FP4 KV、SWA Bounded Replay 到 890 字节/token 的系统级降本

DeepSeek-V4.1-Flash 技术报告深度图解：以 14 张结构化示意图，系统拆解 Causal-Encoder-Decoder（CED）架构、CSA2 三维联合压缩与 Full/Reindex/Reuse 三模式、分层稀疏索引器、FP4 Main KV + SWA Bounded Replay 的缓存层次、552B MoE + 196B Engram + DeepSeek-ViT 原生多模态、Head-wise Muon/Sinkhorn 优化器分工、45T token 预训练与 1M 上下文扩展、SFT→RL→OPD 后训练与 DSec 异步 RL、Reasoning Effort 可控推理及能力边界。