漫步远方,心荡神往

拆开大模型中的 config.json:参数是表象,KV 账单才是分水岭

从 MoE 稀疏度、KV 账单到压缩与线性注意力 - 一次逐字段的技术对账,写给想搞懂「为什么这么设计」的人

不看新模型发布会,只看开源模型配置文件:先补参数、KV、注意力三块底子,再逐字段拆 15 个国产开源模型。为什么 DeepSeek 把 KV 头压到 1 个却把 head_dim 拉到 512、GLM 的 IndexShare 凭什么让 4 层共用一次索引、Kimi 的 3:1 线性混合到底省的是计算还是显存、Qwen 的混合架构为什么反而更吃显存 - 用公式和 config 里的数组讲清楚。附 1M 上下文单请求的 KV 清单推演。