漫步远方,心荡神往

科普开源大模型基础知识

本篇文章主要介绍开源大模型的基础知识,如 LLama 4 和 Qwen 3 的核心亮点和基础架构。

Llama 4 北京时间2025年4月6日凌晨,Meta发布了外界期待许久的Llama4系列开源模型,目前它包括 Llama 4 Scout、Llama 4 Maverick、Llama 4 Behemoth。三种模型对应不同的使用需求,简单来说: Llama 4 Scout 是可以在单张 H100 上跑的多模态 MoE 模型; Llama 4 Maverick 是击败了 GPT-4o 和 Gemini 2.0,比 DeepSeek v3 小但编码和推理能力匹配的“最佳模型”; 还有一个即将发布的、隐藏在后为所有 Llama4 系列提供能力的 2880 亿活跃参数“巨兽”模型 Llama 4 Behemoth; 根据官方发布的介绍,此次 Llama4 有几个重要的技术亮点。 MoE架构

DeepSeek 开源周活动

在2025年2月24日至28日的DeepSeek开源周期间,DeepSeek集中发布了五大核心开源项目,全面覆盖AI基础设施中的计算优化、通信效率与存储加速等关键领域,构建起一套面向大规模人工智能的高性能技术底座。

1. DeepSeek 开源周 DeepSeek 在开源了 DeepSeek-R1 与 DeepSeek-V3 模型权重后,DeepSeek-V3 技术报告 《DeepSeek-V3 Technical Report》 中提到的很多核心技术,相继在 “DeepSeek 开源周” (2025.02.24-03.01)中亮相。 天数 项目名称 核心功能 性能指标 Day 1 FlashMLA 高效的 MLA 解码内核,优化变长序列处理 ✅ 3000 GB/s 内存带宽 ✅ 580 TFLOPS (BF16, H800 GPU) Day 2 DeepEP 首个开源 EP 通信库,支持 MoE 模型训练/推理 ✅ 支持 NVLink/RDMA ✅ FP8 原生调度 ✅ 低延迟推理优化 Day 3 DeepGEMM FP8 GEMM 库,支持密集/MoE 矩阵计算 ✅ 1350+ FP8 TFLOPS (Hopper 架构) ✅ 核心代码仅 300 行 Day 4 并行策略优化 • DualPipe: 双向流水线并行

双机2*H20(8*96GiB)部署满血DeepSeek-R1(fp8)验证过程

双机2*H20(8*96GiB)部署满血DeepSeek-R1(fp8)验证过程、vllm 与 sglang 双机测试与性能对比

实战记录双机 2*H20 (16x96GB GPU) 部署 671B 满血 DeepSeek-R1 (FP8) 模型的完整压测过程,深入对比 vLLM 与 SGLang 推理引擎在 TP/PP 张量与管道并行配置下的吞吐率、首字延迟(TTFT)与 Token 生成速度。

单机H20(8*96GiB)部署满血DeepSeek-R1(fp8)验证过程

单机H20(8*96GiB)部署满血DeepSeek-R1(fp8)验证过程、vllm 验证过程、sglang 验证过程

详细评测单节点 H20 8卡环境利用 vLLM 与 SGLang 部署满血 DeepSeek-R1 (FP8) 的技术细节,涵盖 MLA 注意力机制优化、EETQ/Quantization 参数踩坑及多并发下推理性能对比。

单台 H20 机器 DeepSeek R1 (FP8)、DeepSeek-R1-Block-INT8 精度测试与性能测试过程

测试下 DeepSeek R1(FP8)、DeepSeek-R1-Block-INT8 使用单台 H20 机器在 aime、math500、gpqa (使用开源工具 evalscope) 数据集下进行精度测试;给定输入、输出等参数,性能压测;

基于 EvalScope 基准工具对单台 H20 8卡机器上运行的 DeepSeek-R1 (FP8) 与 DeepSeek-R1-Block-INT8 进行精度评测(AIME、MATH500、GPQA)和并发吞吐性能测试实录。