漫步远方,心荡神往

155 万亿 Tokens/天是怎么跑出来的:拆解 DeepSeek V4.1 Flash 推理系统

从 EPD 分离、Wide-EP、72 小时 KVCache 到按时间切分的 Prefill 调度

以 DeepSeek V4.1 Flash 推理系统公开的 Blog 与 Q&A 为基础,用 11 张自绘示意图(含封面)和可复算的例子,拆解 EPD 分离、Wide-EP 的 roofline 依据、Block/SWA 两层 KVCache、3FS 10+2 EC 与 GDR、SWA Bounded Replay 的 128-token 近似、Prefill 二次代价模型反解、异步调度与变长投机、EPLB 的最大负载目标,以及 $38/卡·时的第三方成本测算。官方口径与推算分开表述,附部署风险提示。

拆开大模型中的 config.json:参数是表象,KV 账单才是分水岭

从 MoE 稀疏度、KV 账单到压缩与线性注意力 - 一次逐字段的技术对账,写给想搞懂「为什么这么设计」的人

不看新模型发布会,只看开源模型配置文件:先补参数、KV、注意力三块底子,再逐字段拆 15 个国产开源模型。为什么 DeepSeek 把 KV 头压到 1 个却把 head_dim 拉到 512、GLM 的 IndexShare 凭什么让 4 层共用一次索引、Kimi 的 3:1 线性混合到底省的是计算还是显存、Qwen 的混合架构为什么反而更吃显存 - 用公式和 config 里的数组讲清楚。附 1M 上下文单请求的 KV 清单推演。

读 Kimi K3.1 Pro:2.8T 是表象,69:24 才是答案

架构已经收敛,战场转移到成本工程、后训练工业化和能力治理 — 一份 AI Infra 工程师的拆解

不翻译官方博客,只谈判断,并逐条对照公开研究校准:为什么 93 层里的 69 层线性注意力是成本工程而非能力工程(Kimi Linear 的 3:1 配方与 75% KV 降幅);为什么 1M 上下文只取 top-k 2048 暴露了长上下文的真相(NeurIPS 2026 留存曲线:标称长度与留存能力仅 ρ=0.437 相关);长上下文到底能不能替代 RAG(MBZUAI 的 120 组对照给出反例);MXFP4 为何成为千亿模型发布的准入门槛(对照 gpt-oss);以及为什么环境质量才是后训练的胜负手(Endless Terminals 与 WildAWM)。

一文看懂 KV Cache(下):工程实践与未来趋势

SGLang(RadixAttention)与 vLLM(PagedAttention)如何管理 KV Cache,以及业界演进方向

KV Cache 科普(下篇):拆解 SGLang(RadixAttention)与 vLLM(PagedAttention)两大主流框架的工程实践,以及连续批处理、Chunked Prefill、缓存感知调度、PD 分离与多级缓存等系统方案;最后展望 MLA、原生稀疏、低比特 KV、集群级 KV 调度等业界未来发展趋势。上篇讲原理与优化思路。

一文看懂 KV Cache(上):从自回归原理到优化思路

为什么大模型推理离不开 KV Cache,以及围绕显存公式的一整套优化方法论

KV Cache 科普(上篇):先讲清自回归推理的冗余计算问题、KV Cache 的原理与显存占用;再从 token 级 / 模型级 / 系统级三个层次,以及显存公式的每个因子(序列长度、头数、比特、头维度、层数、显存管理)梳理优化思路。下篇继续讲两大框架的工程落地与业界未来趋势。