漫步远方,心荡神往

155 万亿 Tokens/天是怎么跑出来的:拆解 DeepSeek V4.1 Flash 推理系统

从 EPD 分离、Wide-EP、72 小时 KVCache 到按时间切分的 Prefill 调度

以 DeepSeek V4.1 Flash 推理系统公开的 Blog 与 Q&A 为基础,用 11 张自绘示意图(含封面)和可复算的例子,拆解 EPD 分离、Wide-EP 的 roofline 依据、Block/SWA 两层 KVCache、3FS 10+2 EC 与 GDR、SWA Bounded Replay 的 128-token 近似、Prefill 二次代价模型反解、异步调度与变长投机、EPLB 的最大负载目标,以及 $38/卡·时的第三方成本测算。官方口径与推算分开表述,附部署风险提示。

GPU 在等 CPU:一部 55 年进化史,与 AI 时代被低估的瓶颈

从单核萌芽、主频撞墙到多核与异构,串起 CPU 与 GPU 之间那段被长期忽略的等待

为什么 GPU 再快也会空转?本文从 CPU 五十五年四次关键转身讲起,盘点 x86 / ARM / 国产三大阵营的主流型号,拆解 CPU 在 AI 推理链路上真正承担的调度职责,并用 gpt-fast 的 torch.compile 实测、Kimi K3 的 Megakernel 融合、vLLM 连续批处理、Grace 的 NVLink-C2C 与 DALI 预处理流水线五个案例,说明 CPU-bound 的三种成因与三条优化路径,附 12 个名词的术语速查卡。

一文吃透模型量化(上):从浮点表示到 PTQ/QAT 范式

FP32/FP16/INT8/INT4/FP8、仿射映射、对称 vs 非对称、per-tensor vs per-channel、PTQ/QAT/动态 vs 静态/校准 —— 附全局对比表与可运行 PyTorch 代码

模型量化深度科普(上篇):先建立全局对比表,再把『地基层』讲透——浮点与定点表示(FP32/FP16/BF16/INT8/INT4/FP8)、浮点到整数的仿射映射 q=round(x/scale)+zp、对称 vs 非对称量化、per-tensor vs per-channel 粒度,以及量化为何能加速、反量化与伪量化。然后进入通用量化范式:PTQ 后训练量化、QAT 量化感知训练、动态 vs 静态量化、校准方法(MinMax/Percentile/KL/MSE)与异常值问题。每个概念给数值示例、公式推导与可运行代码,含一段『从零实现对称/非对称量化与反量化』的教学代码。下篇讲 LLM 专用方案。

一文吃透模型量化(下):LLM 专用方案 LLM.int8/GPTQ/AWQ/SmoothQuant/NF4

异常值分离、Hessian 逐层量化、激活感知保护、难度平滑迁移、4-bit NormalFloat —— 专治大模型激活异常值与超大权重,附显存估算与可运行代码

模型量化深度科普(下篇):承接上篇的地基与范式,讲透 5 大 LLM 专用量化方案。LLM.int8():异常值分离+混合精度分解;GPTQ:基于 Hessian 二阶信息的逐层 weight-only 量化;AWQ:激活感知、保护显著权重通道;SmoothQuant:数学等价把激活量化难度平滑迁移给权重,使 W8A8 可行;NF4+双重量化:QLoRA 的 4-bit NormalFloat,为何比 INT4 更适配正态分布权重。解释为什么 LLM 激活异常值让 W8A8 比 CNN 更难、4-bit 权重量化对显存的决定性影响,配 transformers+bitsandbytes/auto-gptq/autoawq 可运行代码与显存吞吐估算。

一文看懂 KV Cache(下):工程实践与未来趋势

SGLang(RadixAttention)与 vLLM(PagedAttention)如何管理 KV Cache,以及业界演进方向

KV Cache 科普(下篇):拆解 SGLang(RadixAttention)与 vLLM(PagedAttention)两大主流框架的工程实践,以及连续批处理、Chunked Prefill、缓存感知调度、PD 分离与多级缓存等系统方案;最后展望 MLA、原生稀疏、低比特 KV、集群级 KV 调度等业界未来发展趋势。上篇讲原理与优化思路。