Toggle navigation
漫步远方,心荡神往
All Posts
LEARNING
ARCHIVE
ABOUT
漫步远方,心荡神往
拆开大模型中的 config.json:参数是表象,KV 账单才是分水岭
从 MoE 稀疏度、KV 账单到压缩与线性注意力 - 一次逐字段的技术对账,写给想搞懂「为什么这么设计」的人
不看新模型发布会,只看开源模型配置文件:先补参数、KV、注意力三块底子,再逐字段拆 15 个国产开源模型。为什么 DeepSeek 把 KV 头压到 1 个却把 head_dim 拉到 512、GLM 的 IndexShare 凭什么让 4 层共用一次索引、Kimi 的 3:1 线性混合到底省的是计算还是显存、Qwen 的混合架构为什么反而更吃显存 - 用公式和 config 里的数组讲清楚。附 1M 上下文单请求的 KV 清单推演。
Posted by
tanjunchen
on Saturday, November 7, 2026
Software Developer