漫步远方，心荡神往

全面盘点大模型推理优化加速核心手段：涉及 KV Cache 优化、FlashAttention/FlashDecoding 算子加速、Quantization 量化（AWQ/FP8）、Speculative Decoding 投机采样以及 Continuous Batching 调度算法。

本文系统梳理大模型推理架构演进的核心节点：从 Static Batching 到 Continuous Batching（vLLM/SGLang 核心机制），再到 PagedAttention 的 KV Cache 显存管理、Chunked Prefill 以及 Prefill/Decode 分离架构，深入剖析优化吞吐与降低时延的关键工程实践。