漫步远方,心荡神往

国内近期开源大模型调研与核心技术解析

对比 DeepSeek-R1、Qwen2.5、GLM-4 架构设计与推理效率

调研分析国内开源大模型生态发展现状:系统梳理 DeepSeek-R1、Qwen2.5、GLM-4 等代表性模型的架构设计、强化学习 RL 方案、推理效率与国产 GPU 适配实践。

2026 新年快乐(Happy New Year)

新年的钟声已经敲响,我们迎来了充满活力与奔赴感的 2026 马年!🎉 感谢过去一年里的陪伴与支持,新的一年,愿我们策马前行,奔赴更远的目标,收获更多值得铭记的美好时刻。🌟 祝愿大家在 2026 马年: 🐎 身体健康,精力充沛,步伐坚定; 🐎 事业顺利,马到成功,一路加速; 🐎 家庭幸福,温暖相伴,岁月安然; 🐎 心想事成,所行皆坦途,所愿皆可期! 愿所有的努力都不被辜负,所有的梦想都能快马加鞭、如期抵达。 让我们怀揣热爱,迎风奔跑,共同书写 马年 更加精彩的篇章! 马年大吉,新春快乐,万事如意! 🎊🎁

聊聊 LLM 推理加速常见手段

从 KV Cache 优化、FlashAttention 算子到量化与投机采样

全面盘点大模型推理优化加速核心手段:涉及 KV Cache 优化、FlashAttention/FlashDecoding 算子加速、Quantization 量化(AWQ/FP8)、Speculative Decoding 投机采样以及 Continuous Batching 调度算法。

聊聊 LLM 推理架构演进中的几个关键技术节点

Static Batching、Continuous Batching 与 Prefill/Decode 分离

本文系统梳理大模型推理架构演进的核心节点:从 Static Batching 到 Continuous Batching(vLLM/SGLang 核心机制),再到 PagedAttention 的 KV Cache 显存管理、Chunked Prefill 以及 Prefill/Decode 分离架构,深入剖析优化吞吐与降低时延的关键工程实践。

探索 Transformer 理论与本质

介绍 Transformer 架构和原理,以及大语言模型(LLM)的运作机制。

大语言模型(LLM)的核心是通过自回归方式逐词预测(next token prediction)。文本首先被 tokenizer 拆分为词或子词(如 BPE、BBPE 技术),每个 token 对应一个嵌入向量,并加入位置编码(如 RoPE)以保留顺序信息。模型基于 Transformer 结构,训练时通过注意力机制学习上下文关系,输出每个 token 的下一个词概率分布(softmax 归一化)。推理时采用自回归生成,通过采样策略(如 Top-k)和温度系数控制随机性。ALiBi 技术解决了长文本位置编码的外推问题,使模型能处理超越训练长度的输入。整个过程本质是序列条件概率建模,通过海量数据学习语言的统计规律。