漫步远方,心荡神往

单台 H20 机器 DeepSeek R1 (FP8)、DeepSeek-R1-Block-INT8 精度测试与性能测试过程

测试下 DeepSeek R1(FP8)、DeepSeek-R1-Block-INT8 使用单台 H20 机器在 aime、math500、gpqa (使用开源工具 evalscope) 数据集下进行精度测试;给定输入、输出等参数,性能压测;

测试目标 测试下 DeepSeek R1(FP8) 使用单台 H20 机器在 aime、math500、gpqa (使用开源工具 evalscope) 数据集下进行精度测试; 给定输入、输出等参数,

深度剖析 DeepSeek R1 论文

深度剖析 DeepSeek R1 论文,从论文中提炼出关键信息,并分享自己的理解与思考

论文介绍了 R1 整个算法、训练流程和结果,但最核心的应该是数据,包括用于 R1-Zero 的数据是什么,数据量有多大,生成的 60w 数据具体是什么样的,标注的 20w 文科数据是什么,这是决定模型效果比较核心的因素。DeepSeek 的中文效果出圈,猜测很大程度还是标注的 20w 文科数据质量高,这些数据没有公开,要复刻出 DeepSeek 的效果没那么容易。开源社区有很多想要去复现 R1 和 R1-Zero 的研究,比较出名的是 huggingface 的 open-r1、R1-Zero 的开源项目 TinyZero

DeepSeek R1 推理 GPU 资源配置

普及 NVIDIA 基础知识,如硬件类型/厂家、NVIDIA 显卡系列、SXM 与 PCIe、DeepSeek R1 资源需求示例

介绍 NVIDIA 基础知识,如硬件类型/厂家、NVIDIA 显卡系列、SXM 与 PCIe、DeepSeek R1 资源需求示例

LLM 教程(3)- 《DeepSeek R1 论文精读 - 通过强化学习推动大语言模型推理能力的突破与创新》

LLM 教程(3)- 精读 DeepSeek-R1 的论文,了解现象级 R1 模型是怎么做出来的;

1. 序言 下图展示了 OpenAI(公开文献) 从预训练开始逐步训练出一个 GPT 助手的步骤;pre-training -> SFT -> RM -> RL 是典型的大模型训练过程。

LLM 教程(2)- 大模型基础知识

LLM 教程(2)- 大模型基础知识,LLM 专有名词、LLM 推理框架、LLM 结果评估

LLM 专有名词 量化(Quantization) 基础知识 LLM 大模型的量化技术主要是通过对模型参数进行压缩和量化,从而降低模型的存储和计算复杂度。具体