漫步远方,心荡神往

快手万擎大模型推理系统 kLLM 全栈优化解析与深度点评

从 MLA 混合并行、分级 KV Cache 到 SLO 驱动大 PD 弹性分离

深度剖析快手万擎大模型推理引擎 kLLM 核心优化体系,包含个人实战点评:解读 MLA+DP Attention/MoE EP 混合并行、Ring Attention 分块流水、DSpark 投机解码、三级 KV Cache 增量前缀树与 SLO 驱动的大 PD 弹性分层架构,提炼大模型规模化落地的系统工程方法论。

AI-Infra:构建支撑大规模训练与推理基础设施平台

解析 GPU 异构算力调度、训推引擎与工程落地实践

深入解析 AI-Infra 基础设施平台架构:从 GPU 异构算力管理、高性能网络存储,到训练框架与 vLLM/SGLang 推理引擎集成,系统探讨支撑大模型训推工程落地与持续演进的系统工程实践。