漫步远方，心荡神往

基于 EvalScope 基准工具对单台 H20 8卡机器上运行的 DeepSeek-R1 (FP8) 与 DeepSeek-R1-Block-INT8 进行精度评测（AIME、MATH500、GPQA）和并发吞吐性能测试实录。

论文介绍了 R1 整个算法、训练流程和结果，但最核心的应该是数据，包括用于 R1-Zero 的数据是什么，数据量有多大，生成的 60w 数据具体是什么样的，标注的 20w 文科数据是什么，这是决定模型效果比较核心的因素。DeepSeek 的中文效果出圈，猜测很大程度还是标注的 20w 文科数据质量高，这些数据没有公开，要复刻出 DeepSeek 的效果没那么容易。开源社区有很多想要去复现 R1 和 R1-Zero 的研究，比较出名的是 huggingface 的 open-r1、R1-Zero 的开源项目 TinyZero

介绍 NVIDIA 基础知识，如硬件类型/厂家、NVIDIA 显卡系列、SXM 与 PCIe、DeepSeek R1 资源需求示例

1. 序言 下图展示了 OpenAI（公开文献） 从预训练开始逐步训练出一个 GPT 助手的步骤；pre-training -> SFT -> RM -> RL 是典型的大模型训练过程。 2. DeepSeek R1 论文精读 接下来精读下 DeepSeek-R1 的论文 《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》 了解现象级 R1 模型是怎么做出来的。 2.1 摘要 DeepSeek 推出了他们的第一代推理模型，DeepSeek-R1-Zero和DeepSeek-R1； DeepSeek-R1-Zero 这是一个跳过监督微调（SFT）步骤， 直接通过大规模强化学习（RL）训练得到的模型，具备卓越的推理能力。R1-Zero 是在

LLM 专有名词 量化（Quantization） 基础知识 LLM 大模型的量化技术主要是通过对模型参数进行压缩和量化，从而降低模型的存储和计算复杂度。具体来说如下： 参数压缩：通过将模型中的浮点数参数转换为低精度的整数参数，量化技术可以实现参数的压缩。这不仅可以减少模型所需的存储空间，还可以降低模型加载的时间。 计算加速：由于低精度整数运算的速度远快于浮点数运算，量化技术还可以通过降低计算复杂度来实现计算加速。这可以在保证模型性能的同时，提高模型的推理速度。 量化技术的三个主要目的：节省显存、加