漫步远方,心荡神往

单机H20(8*96GiB)部署满血DeepSeek-R1(fp8)验证过程

单机H20(8*96GiB)部署满血DeepSeek-R1(fp8)验证过程、vllm 验证过程、sglang 验证过程

详细评测单节点 H20 8卡环境利用 vLLM 与 SGLang 部署满血 DeepSeek-R1 (FP8) 的技术细节,涵盖 MLA 注意力机制优化、EETQ/Quantization 参数踩坑及多并发下推理性能对比。

单台 H20 机器 DeepSeek R1 (FP8)、DeepSeek-R1-Block-INT8 精度测试与性能测试过程

测试下 DeepSeek R1(FP8)、DeepSeek-R1-Block-INT8 使用单台 H20 机器在 aime、math500、gpqa (使用开源工具 evalscope) 数据集下进行精度测试;给定输入、输出等参数,性能压测;

基于 EvalScope 基准工具对单台 H20 8卡机器上运行的 DeepSeek-R1 (FP8) 与 DeepSeek-R1-Block-INT8 进行精度评测(AIME、MATH500、GPQA)和并发吞吐性能测试实录。

深度剖析 DeepSeek R1 论文

深度剖析 DeepSeek R1 论文,从论文中提炼出关键信息,并分享自己的理解与思考

论文介绍了 R1 整个算法、训练流程和结果,但最核心的应该是数据,包括用于 R1-Zero 的数据是什么,数据量有多大,生成的 60w 数据具体是什么样的,标注的 20w 文科数据是什么,这是决定模型效果比较核心的因素。DeepSeek 的中文效果出圈,猜测很大程度还是标注的 20w 文科数据质量高,这些数据没有公开,要复刻出 DeepSeek 的效果没那么容易。开源社区有很多想要去复现 R1 和 R1-Zero 的研究,比较出名的是 huggingface 的 open-r1、R1-Zero 的开源项目 TinyZero

DeepSeek R1 推理 GPU 资源配置

普及 NVIDIA 基础知识,如硬件类型/厂家、NVIDIA 显卡系列、SXM 与 PCIe、DeepSeek R1 资源需求示例

介绍 NVIDIA 基础知识,如硬件类型/厂家、NVIDIA 显卡系列、SXM 与 PCIe、DeepSeek R1 资源需求示例

LLM 教程(3)- 《DeepSeek R1 论文精读 - 通过强化学习推动大语言模型推理能力的突破与创新》

LLM 教程(3)- 精读 DeepSeek-R1 的论文,了解现象级 R1 模型是怎么做出来的;

1. 序言 下图展示了 OpenAI(公开文献) 从预训练开始逐步训练出一个 GPT 助手的步骤;pre-training -> SFT -> RM -> RL 是典型的大模型训练过程。 2. DeepSeek R1 论文精读 接下来精读下 DeepSeek-R1 的论文 《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》 了解现象级 R1 模型是怎么做出来的。 2.1 摘要 DeepSeek 推出了他们的第一代推理模型,DeepSeek-R1-Zero和DeepSeek-R1; DeepSeek-R1-Zero 这是一个跳过监督微调(SFT)步骤, 直接通过大规模强化学习(RL)训练得到的模型,具备卓越的推理能力。R1-Zero 是在