Toggle navigation
漫步远方,心荡神往
All Posts
LEARNING
ARCHIVE
ABOUT
漫步远方,心荡神往
读 Kimi K3.1 Pro:2.8T 是表象,69:24 才是答案
架构已经收敛,战场转移到成本工程、后训练工业化和能力治理 — 一份 AI Infra 工程师的拆解
不翻译官方博客,只谈判断,并逐条对照公开研究校准:为什么 93 层里的 69 层线性注意力是成本工程而非能力工程(Kimi Linear 的 3:1 配方与 75% KV 降幅);为什么 1M 上下文只取 top-k 2048 暴露了长上下文的真相(NeurIPS 2026 留存曲线:标称长度与留存能力仅 ρ=0.437 相关);长上下文到底能不能替代 RAG(MBZUAI 的 120 组对照给出反例);MXFP4 为何成为千亿模型发布的准入门槛(对照 gpt-oss);以及为什么环境质量才是后训练的胜负手(Endless Terminals 与 WildAWM)。
Posted by
tanjunchen
on Friday, November 6, 2026
Software Developer