AI | tanjunchen Blog | tanjunchen的博客

探索 Transformer 理论与本质

介绍 Transformer 架构和原理，以及大语言模型（LLM）的运作机制。

大语言模型（LLM）的核心是通过自回归方式逐词预测（next token prediction）。文本首先被 tokenizer 拆分为词或子词（如 BPE、BBPE 技术），每个 token 对应一个嵌入向量，并加入位置编码（如 RoPE）以保留顺序信息。模型基于 Transformer 结构，训练时通过注意力机制学习上下文关系，输出每个 token 的下一个词概率分布（softmax 归一化）。推理时采用自回归生成，通过采样策略（如 Top-k）和温度系数控制随机性。ALiBi 技术解决了长文本位置编码的外推问题，使模型能处理超越训练长度的输入。整个过程本质是序列条件概率建模，通过海量数据学习语言的统计规律。

科普开源大模型基础知识

本篇文章主要介绍开源大模型的基础知识，如 LLama 4 和 Qwen 3 的核心亮点和基础架构。

Llama 4 北京时间2025年4月6日凌晨，Meta发布了外界期待许久的Llama4系列开源模型，目前它包括 Llama 4 Scout、Llama 4 Maverick、Llama 4 Behemoth。三种模型对应不同的使用需求，简单来说： Llama 4 Scout 是可以在单张 H100 上跑的多模态 MoE 模型； Llama 4 Maverick 是击败了 GPT-4o 和 Gemini 2.0，比 DeepSeek v3 小但编码和推理能力匹配的“最佳模型”；还有一个即将发布的、隐藏在后为所有 Llama4 系列提供能力的 2880 亿活跃参数“巨兽”模型 Llama 4 Behemoth；根据官方发布的介绍，此次 Llama4 有几个重要的技术亮点。 MoE架构

DeepSeek 开源周活动

在2025年2月24日至28日的DeepSeek开源周期间，DeepSeek集中发布了五大核心开源项目，全面覆盖AI基础设施中的计算优化、通信效率与存储加速等关键领域，构建起一套面向大规模人工智能的高性能技术底座。

1. DeepSeek 开源周 DeepSeek 在开源了 DeepSeek-R1 与 DeepSeek-V3 模型权重后，DeepSeek-V3 技术报告《DeepSeek-V3 Technical Report》中提到的很多核心技术，相继在 “DeepSeek 开源周” （2025.02.24-03.01）中亮相。天数项目名称核心功能性能指标 Day 1 FlashMLA 高效的 MLA 解码内核，优化变长序列处理 ✅ 3000 GB/s 内存带宽 ✅ 580 TFLOPS (BF16, H800 GPU) Day 2 DeepEP 首个开源 EP 通信库，支持 MoE 模型训练/推理 ✅ 支持 NVLink/RDMA ✅ FP8 原生调度 ✅ 低延迟推理优化 Day 3 DeepGEMM FP8 GEMM 库，支持密集/MoE 矩阵计算 ✅ 1350+ FP8 TFLOPS (Hopper 架构) ✅ 核心代码仅 300 行 Day 4 并行策略优化 • DualPipe: 双向流水线并行

双机2*H20(8*96GiB)部署满血DeepSeek-R1(fp8)验证过程

双机2*H20(8*96GiB)部署满血DeepSeek-R1(fp8)验证过程、vllm 与 sglang 双机测试与性能对比

实战记录双机 2*H20 (16x96GB GPU) 部署 671B 满血 DeepSeek-R1 (FP8) 模型的完整压测过程，深入对比 vLLM 与 SGLang 推理引擎在 TP/PP 张量与管道并行配置下的吞吐率、首字延迟（TTFT）与 Token 生成速度。

单机H20(8*96GiB)部署满血DeepSeek-R1(fp8)验证过程

单机H20(8*96GiB)部署满血DeepSeek-R1(fp8)验证过程、vllm 验证过程、sglang 验证过程

详细评测单节点 H20 8卡环境利用 vLLM 与 SGLang 部署满血 DeepSeek-R1 (FP8) 的技术细节，涵盖 MLA 注意力机制优化、EETQ/Quantization 参数踩坑及多并发下推理性能对比。

漫步远方，心荡神往