DeepSeek

深度剖析 DeepSeek-V4.1-Flash：把长上下文的成本曲线重写一遍

从 CED、CSA2、FP4 KV、SWA Bounded Replay 到 890 字节/token 的系统级降本

DeepSeek-V4.1-Flash 技术报告深度图解：以 14 张结构化示意图，系统拆解 Causal-Encoder-Decoder（CED）架构、CSA2 三维联合压缩与 Full/Reindex/Reuse 三模式、分层稀疏索引器、FP4 Main KV + SWA Bounded Replay 的缓存层次、552B MoE + 196B Engram + DeepSeek-ViT 原生多模态、Head-wise Muon/Sinkhorn 优化器分工、45T token 预训练与 1M 上下文扩展、SFT→RL→OPD 后训练与 DSec 异步 RL、Reasoning Effort 可控推理及能力边界。

快手万擎大模型推理系统 kLLM 全栈优化解析与深度点评

从 MLA 混合并行、分级 KV Cache 到 SLO 驱动大 PD 弹性分离

深度剖析快手万擎大模型推理引擎 kLLM 核心优化体系，包含个人实战点评：解读 MLA+DP Attention/MoE EP 混合并行、Ring Attention 分块流水、DSpark 投机解码、三级 KV Cache 增量前缀树与 SLO 驱动的大 PD 弹性分层架构，提炼大模型规模化落地的系统工程方法论。

聊聊 LLM 推理架构演进中的几个关键技术节点

Static Batching、Continuous Batching 与 Prefill/Decode 分离

本文系统梳理大模型推理架构演进的核心节点：从 Static Batching 到 Continuous Batching（vLLM/SGLang 核心机制），再到 PagedAttention 的 KV Cache 显存管理、Chunked Prefill 以及 Prefill/Decode 分离架构，深入剖析优化吞吐与降低时延的关键工程实践。

探索 Transformer 理论与本质

介绍 Transformer 架构和原理，以及大语言模型（LLM）的运作机制。

大语言模型（LLM）的核心是通过自回归方式逐词预测（next token prediction）。文本首先被 tokenizer 拆分为词或子词（如 BPE、BBPE 技术），每个 token 对应一个嵌入向量，并加入位置编码（如 RoPE）以保留顺序信息。模型基于 Transformer 结构，训练时通过注意力机制学习上下文关系，输出每个 token 的下一个词概率分布（softmax 归一化）。推理时采用自回归生成，通过采样策略（如 Top-k）和温度系数控制随机性。ALiBi 技术解决了长文本位置编码的外推问题，使模型能处理超越训练长度的输入。整个过程本质是序列条件概率建模，通过海量数据学习语言的统计规律。

科普开源大模型基础知识

本篇文章主要介绍开源大模型的基础知识，如 LLama 4 和 Qwen 3 的核心亮点和基础架构。

Llama 4 北京时间2025年4月6日凌晨，Meta发布了外界期待许久的Llama4系列开源模型，目前它包括 Llama 4 Scout、Llama 4 Maverick、Llama 4 Behemoth。三种模型对应不同的使用需求，简单来说： Llama 4 Scout 是可以在单张 H100 上跑的多模态 MoE 模型； Llama 4 Maverick 是击败了 GPT-4o 和 Gemini 2.0，比 DeepSeek v3 小但编码和推理能力匹配的“最佳模型”；还有一个即将发布的、隐藏在后为所有 Llama4 系列提供能力的 2880 亿活跃参数“巨兽”模型 Llama 4 Behemoth；根据官方发布的介绍，此次 Llama4 有几个重要的技术亮点。 MoE架构