DeepSeek 这三年发了八代模型。我断断续续看完了大部分技术报告,留下一个挺奇怪的印象:每一代都能记住几个新缩写,MoE、MLA、GRPO、MTP、DSA,但合在一起,说不清它到底在往哪走。
直到我把八代的时间线排在一起,才慢慢看出点别的东西。它真正一直在干的,可能不是发明新组件,而是同一件事:找到当前最贵的那个环节,把它变便宜,然后用省下来的算力去换下一个维度的规模。
这个说法有点绕。换个方式讲:DeepSeek 这三年一直在换的,不是模型名字,是 scaling 的对象。
我写这篇不是想给这八代排座次。谁强谁弱,benchmark 上有数字,我更想搞清楚的是:它每次到底在为什么东西让路。
一、先把时间线摆出来
| 版本 | 时间 | 当时最头疼的事 | 做了什么 |
|---|---|---|---|
| V1 | 2024 初 | 整套流程能不能跑通 | 照着 LLaMA 的成熟配方走了一遍 |
| V2 | 2024 中 | 参数想做大,算力不够 | 细粒度 MoE、MLA、GRPO |
| V3 | 2024 末 | 万卡训练又贵又不稳 | loss-free 均衡、MTP、FP8 |
| R1 | 2025 初 | 后训练还能不能放大推理 | 大规模 RL,R1-Zero |
| V3.1 | 2025 中 | 推理怎么进生产 | 思考/非思考合一、工具调用、UE8M0 |
| V3.2 | 2025 末 | 长文本太贵 | DSA |
| V4 | 2026 春 | 国产卡怎么落地 | 昇腾适配、算子库 |
| V4.1 | 2026 秋 | 输入输出成本不对称 | CED、非对称激活、KV 压缩 |
这张表看着挺整齐,其实是我事后整理的。真实的研发肯定不是一代解决一个问题,很多工作是并行的,也有很多走了弯路没写进报告。我不是说 DeepSeek 一开始就这么规划好了。每一代要解决的成本问题都存在,它的选择碰巧都指向了同一个方向。
把八代排在一起,能看到两个相反的方向。一个方向是不断找新的东西去 scale:参数、监督信号、测试时计算、上下文、工具调用,再到环境。另一个方向是不断把旧的东西变便宜:激活参数、KV、精度、注意力、输入输出。每变便宜一次,省下来的预算就被扔到下一个方向上。
省下来的算力不会凭空消失,它一定会被花到别的地方。这句话我记了很久。
二、V1:先别急着创新
用今天的眼光看,V1 有点 soso。
它基本就是 LLaMA 那套东西:Pre-Norm、SwiGLU、RMSNorm、RoPE、GQA;后训练是 SFT 加 DPO;只在 lr scheduler、层数、宽度上动了动。几乎看不到为了显得不一样而做的改动。你说它是 2024 年的模型,我信;你说它是 2023 年的,我也信。
但 V1 真正做成的,是把数据、训练、评测、基础设施这一整套流程完整跑通了一遍。这件事听起来不性感,做过的人大概都有体会:数据从哪来、洗到什么程度、训练崩了怎么回滚、评测怎么对齐、几千张卡怎么通信。这些不在论文的聚光灯下,但决定了后面几代能不能起跳。
半年后 V2 的花样百出,反过来是最好的证据。V1 不是没想法。它主动挑了一条风险最低的路,先把底座验证掉。先证明这套流程能跑,再动结构。
所以我现在看 V1,不太看它提出了什么,只看它把哪些坑提前踩了。V1 没拿到 SOTA,但它把桌子搭好了,后面的人才有地方下注。
三、V2:三个省钱的选择
V2 的报告里,我反复看的是三个地方。
先说 MoE。共享专家兜住通用能力,细粒度小专家负责细分能力,236B 总参数,每个 token 只激活 21B。MoE 本身不是新东西,但“共享专家 + 细粒度路由”这套组合,是 DeepSeek 自己在 DeepSeekMoE 里提出来的,V2 把它推到了这个规模。总参数上去了,单次前向的算力还可控。
再说 MLA。把 KV 压到低秩潜空间,推理时只缓存潜向量,KV Cache 相对上一代降了约 93%。我第一次看它的结构图没太看明白,后来把 KV Cache 的账从头算了一遍,才知道它省的不是计算,是缓存。长上下文部署的显存压力,第一次从“能不能跑”变成“跑得起几路”。
还有 GRPO。去掉 PPO 里的价值模型,用组内相对奖励估计优势,流程更简单,显存和计算都更省。它后来成了强化学习的事实范式,但诞生的时候,首先是一个让 RL 便宜到可以多做几轮的工程选择。
这三个东西有一个共同点:没有一个是冲着“让模型更聪明”去的。MoE 是为了参数大而算力不涨,MLA 是为了上下文长而显存不涨,GRPO 是为了 RL 便宜到可以规模化地试。它们都是成本答案。
有意思的是,恰恰是这些成本答案,活得比很多能力技巧更久。能力技巧往往是模型特定的,换个架构就不灵了;成本技巧是行业通用的,谁都能用,用了就回不去。V2 的这三个组件后来被那么多团队跟进,大概就是这个原因。
V2 也是 DeepSeek 技术风格成形的起点。它开始想办法让模型以更低的代价变大,而不只是把模型做大。
四、V3:把训练当成工程问题
V3 的报告很厚,但真正让我停下来想了很久的,是两件小事。
一件是 loss-free 的负载均衡。以前做 MoE,专家负载不均就加辅助损失,但辅助目标会干扰主任务,权重调大调小都难受。V3 换了个思路:不动损失函数,改路由偏置,哪个专家忙,就把它的偏置调低一点,让负载自己回到均衡。
我一开始以为“loss-free”是彻底不用辅助损失,后来查了一下才发现,V3 还留了一个很小的序列级平衡损失。但思路变了:均衡不靠惩罚,靠反馈。这跟 GRPO 是同一种审美,与其给系统打补丁,不如把反馈回路放进系统本身。
另一件是 MTP。让模型在一个位置上同时预测好几个 token,把每条样本的监督信号密度提上来。当时一个很直觉的说法是“样本翻倍”,但我觉得这个说法容易让人误解。不是数据变多了,是每个位置的监督变密了。数据翻倍是横向加样本,MTP 是纵向加深每个样本的利用效率。
对推理阶段,MTP 天然能接 speculative decoding,一次预测多个候选,再验证,接受率够高就是净赚。但接受率不够高的时候,多预测的头就是纯开销。MTP 不是免费午餐,它把训练时的监督密度和推理时的并行度绑在了一起。
再加上 FP8 训练,V3 的思路已经很清楚了:参数可以更多,但训练和推理的账必须算得过来。671B 总参数、37B 激活、14.8T token,这组数字背后是一整套万卡规模的工程:通信重叠、精度缩放、故障恢复、负载均衡。V3 真正难的地方,是让这些点子在几千张卡上同时成立。
五、R1:那些被讲过头的事
R1 是这八代里被讲得最多的一代,也是被讲得最歪的一代。
它最大的贡献,是用 R1-Zero 证明了:不做 SFT,直接在基座上做 RL,推理行为也能自己长出来。这件事当时听着很玄,后来大家慢慢接受了。但 R1 最终版还是加了冷启动 SFT,把可读性和稳定性补了回来。这说明什么?说明 SFT 不是推理能力的必要条件,但它是产品化的便利条件。
它真正改变的,是行业对后训练的预期。在这之前,推理能力主要靠人写的链式数据喂;在这之后,大家开始相信,在一个足够强的基座上,推理行为可以由 RL 自己长出来,后训练可以是一个独立的能力放大器,而不是 SFT 的补丁。
但现在回过头看,有些点被讲过头了。
比如输出越来越长。长度上涨更像是奖励设计和采样策略共同作用的结果:奖励偏爱更长的推理链,采样又倾向于选长答案,长度自然就上去了。它未必对应推理能力的同步提升。一个模型完全可以把“再检查一遍”重复五遍,token 翻倍,正确率不动。
比如 aha moment。那个“等等,让我重新想想”的瞬间,看起来像模型突然开窍,但更像把预训练里已经存在的行为挑出来,给它更高的概率。RL 没有凭空创造这个行为,它只是让这个行为更容易发生。
所以那句话——强化学习是 sharpening,不是 discovery——我是这么理解的。它擅长在已有的策略空间里做优化和精细化,不擅长从零开始发现全新的策略或概念。这句话没有贬低 RL 的意思,它只是把预训练和 RL 的分工说清楚了:预训练决定模型拥有什么,RL 决定它在什么时候、以什么方式把这些能力用出来。
R1 还留下了一个挺大的口子:可验证奖励在数学、代码上便宜又可靠,但在开放域任务上并不自动成立。这个口子,后来把大家引到了 Agent 和环境上。
六、V3.1:从会做题到会干活
V3.1 的热度比 R1 差远了,但我一直觉得它是这八代里最容易被低估的一代。
最直观的变化,是思考模式和非思考模式被合进了同一个模型。以前是用户选模型,现在是用户选档位:任务简单就走快路径,任务复杂就多想一会儿。这样一来,推理不再是一个独立的产品形态,而变成了基座模型上的一个参数。对用户是少一次选择,对部署方是少一套权重、少一套部署、少一条计费规则。
另一条线,是工具调用和 Agent 能力被提到了前台。模型真正进生产之后,光答得对不够,还得能把事办了:稳定地调起搜索、代码执行器和外部系统,把推理落成动作。这一步不做,前面省下来的推理成本和撑起来的长上下文,其实没有去处。你有一个能读 128K 的模型,但它只能聊天,那 128K 就只是聊天记录。
还有个容易被忽略的细节:UE8M0 FP8 scale 格式。它明摆着是冲着下一代国产芯片的数值格式去的。从 V3 的 FP8 训练到这里,能看出来 DeepSeek 一直把精度格式当成和硬件一起设计的东西,而不是训练完再拿去量化。多数团队把量化当部署阶段的事,DeepSeek 把它提前到了训练和架构里。这个习惯,到 V4 会兑现。
所以 V3.1 更适合用“可用”来概括,而不是“更强”。它不酷,但它让后面的事情有了着落。
七、V3.2:注意力也开始挑食
DSA 是我个人最喜欢的一个设计。
dense attention 在长文本下太笨重了:每个 token 都要和全部历史算一遍,但真正重要的连接只占很小一部分,大部分 token 的权重都接近 0。既然 MoE 已经证明了计算不必平均分给所有参数,注意力也没必要平均分给所有 token。
DSA 的做法很直接:用一个轻量的 lightning indexer,先给每个 query 挑出最相关的 top-k 个历史 token,再只在这部分上做精确注意力。复杂度从 O(L²) 降到 O(Lk)。官方口径里,128K 上下文下单位 token 成本最高降 60% 到 70%。
我习惯把它理解成注意力维度上的 MoE:MoE 不让所有参数都参与计算,DSA 不让所有 token 都参与注意力。两者是同一种思路的两次投影,把算力从“平均分配”改成“按相关性分配”。
我猜接下来一两年,sparse attention 会变成长上下文模型的标配。它解决的不只是显存,而是长文本模型还能不能继续 scaling 的问题。上下文从 128K 到 1M,dense attention 的成本是平方级往上走的,不换注意力,长上下文就只能停在 demo 阶段。
但 DSA 也不是没有代价。indexer 本身要算,top-k 的选择有开销;选错了,误差会传导到主注意力;k 取多大,是一个新的超参,也是新的取舍。更重要的是,“标称上下文”和“有效上下文”是两回事。模型能吃进 1M token,不代表它能在 1M token 里稳定地找到该找的东西。这两个事,很多宣传页是混着说的。
八、V4 和 V4.1:把账算到卡上,也算到输入输出上
V4 在 2026 年 4 月发布的时候,讨论最多的不是模型结构,是昇腾。
当时最直接的观感,是适配被放到了很前面:昇腾超节点全系列能跑 V4 系列,再往后 DeepGEMM、FlashMLA、TileKernels、DeepSelect、DeepEP 这几个算子库和通信库也陆续开源到了昇腾平台。
这部分算不上模型创新,但它决定了前面几代省下来的成本,能不能真的落到国产卡上。一个模型在 H800 上再便宜,如果换一套硬件就跑不动,那它的成本曲线就是一条断掉的线。
真正把路线往前推一步的,是 2026 年 9 月 10 日的 V4.1 Flash:552B 的 MoE 主干,外加 196B 的 Engram 条件记忆;Causal-Encoder-Decoder 结构;输入激活 8B、输出激活 16B,输入输出不对称。
这个设计很有意思。前面几代的稀疏化,分别落在参数和注意力上;到这里,落到了输入和输出两侧:读进来的时候可以很省,吐出来的时候才多给一点算力。这跟两类负载的差异是对得上的:prefill 是并行的、吞吐型的,decode 是串行的、延迟型的。把两者拆开,各给各的预算,比用一个统一的激活宽度硬扛要合理得多。
结果也很直接:全局 KV 压到 890 字节/token,KV 对 HBM 的需求降到上一代的 1/4,对 SSD 的落盘需求降到 1/8,相对初代缩了 437 倍;GPQA Diamond 报到 90.9,厂商自测;原生带视觉理解,不再外挂视觉模块。这笔 KV 账怎么算,见《大模型的工作记忆,为什么这么贵》。
这里得补一句:437 倍是全局 KV 的口径,不是端到端推理成本,这两个事经常被混在一起。
定价也跟着改了,闲时价是高峰时段的一半。10 月 17 日又更新到 V4.1-Flash-1017,官方说法是训练时针对 DeepSeek Harness 做了专项优化,任务跑得更快、输出更省。
副作用是调用量涨得太猛。OpenRouter 的统计里,11 月 9 日到 15 日那一周,V4.1 Flash 的调用量是 59.2 万亿 token,排到全球第一,紧接着免费端就开始限额了。这件事挺值得玩味:单位成本降下来,原来用不起的场景变得用得起,总账单反而变大了。便宜不是省钱的终点,更像是调用量爆炸的起点。
如果非要给这条线画个重点:V2 解决的是怎么低成本地把参数做大,V3 是怎么高效率地完成大规模训练,R1 是怎么用 RL 把推理能力放出来,V3.1 和 V3.2 是怎么把它变成能用工具、吃得下长文本的形态。那 V4.1 更像是把这些东西收成一个系统:既要思考也要行动,既要长上下文也要控住成本。能力上限之外,它开始认真算单位成本。
CED、CSA2、FP4 KV 这些结构细节,之前单独写过一篇:《深度剖析 DeepSeek-V4.1-Flash》。
九、多快好省,其实是一个循环
“多快好省”这四个字,放在 DeepSeek 身上,很容易被念成一句口号。我一开始也这么觉得,后来越看越觉得,这四个字的顺序不是随便排的。
先说“多”。它没有同时把四件事都做大,更像是一个一个找:MTP 找到数据这个维度,DSA 找到长度这个维度,MoE 找到参数这个维度,RL 找到测试时计算这个维度。找到一个,把它变便宜,再去下一个。
“快”和“省”是过程里的手段。MLA、DSA、MoE、FP8,拆开看是四件事,合起来都是把不该算的算力省掉,让训练更快、部署更轻。
“好”是参照系,决定了每一步往哪走。对标 OpenAI 这件事说起来有点俗,但它确实让方向一直很清楚。不过好不是孤立的指标,它得建立在快和省之上,否则就是实验室里的好。“省”则是底线。奥卡姆剃刀这个词有点重,说白了就是能简单解决就别搞复杂。loss-free 的负载均衡、GRPO,都是这个思路。复杂系统不是能力的证明,很多时候是成本的来源。
但这四个字不是并列的四个指标,是一个循环。省下来的算力,投向新的 scaling 对象;新的对象又带来新的成本瓶颈;再省。DeepSeek 没打算把四件事都做到极致,它只是让这个循环转起来,并且尽量不回头。
还有一个字,是我后来才加上去的:稳。V1 跟,V2 换道,V3 压工程,R1 放大 RL,V3.1 补工具,V3.2 换注意力,V4 落国产卡。单看每一步,都不算最激进;连起来看,很少走回头路。它并不是每一代都领先:V1 是跟随,V3.1 热度不高,V4 最显眼的动作在适配,而不在架构。但它很少在同一个地方摔两次。在一个每隔三个月就有新范式刷屏的行业里,不来回折腾,本身就挺难的。
十、下一站可能不在模型里
最后说说下一步。
从 V1 到 V4.1,scaling 的对象一直在换:最早是参数,然后是数据和训练效率,再到推理、上下文和工具使用。下一步会换到什么?我的猜测是环境。
这和“更长上下文”不是一回事。上下文再长,模型还是在读别人给的材料;环境交互不一样,它要自己动手,自己看结果,自己承担后果,然后根据反馈修正下一步。Agent 轨迹、工具调用、可验证任务,还有环境的数量和保真度,都会变成新的数据来源。足够多、足够真、足够可验证的环境,可能是下一代最稀缺的东西。
被稀疏化的对象也会继续挪。过去稀疏的是参数、注意力、输入输出,下一步可能是经验:只回放有用的轨迹,只保留关键的记忆,只对关键步骤给奖励。上下文工程里已经在发生这件事,不是把所有历史都塞进去,而是决定什么值得留下。
瓶颈也会跟着挪。过去三年,DeepSeek 主要在处理模型内部的账:参数、显存、带宽、算力利用率。下一段要处理的,是模型外部的账:环境怎么造、验证器怎么定、长时程任务的信用怎么分配、工具调用的失败怎么恢复。这些问题的成本曲线,不像 KV Cache 那样可以用一个公式算清楚。
这也是为什么我觉得 V4.1 更像一个阶段的结束,而不是一个新故事的开始。它把模型内部的账算到了一个相当极致的程度,再往前,光靠改模型结构能挤出来的空间,会越来越小。
三年八代,要说我从里面学到什么,大概不是某个组件,而是一个顺序:先问哪里贵,再问怎么改;先找可 scale 的维度,再把它变便宜。我不知道 DeepSeek 自己是不是这么想的,但把这八代放在一起看,它至少是这么做的。
参考资料
- DeepSeek-AI, DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model, arXiv:2405.04434
- DeepSeek-AI, DeepSeek-V3 Technical Report, arXiv:2412.19437
- DeepSeek-AI, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, arXiv:2501.12948
- DeepSeek-V4.1-Flash 模型卡与技术报告:Hugging Face