Toggle navigation
漫步远方,心荡神往
All Posts
LEARNING
ARCHIVE
ABOUT
漫步远方,心荡神往
单机H20(8*96GiB)部署满血DeepSeek-R1(fp8)验证过程
单机H20(8*96GiB)部署满血DeepSeek-R1(fp8)验证过程、vllm 验证过程、sglang 验证过程
详细评测单节点 H20 8卡环境利用 vLLM 与 SGLang 部署满血 DeepSeek-R1 (FP8) 的技术细节,涵盖 MLA 注意力机制优化、EETQ/Quantization 参数踩坑及多并发下推理性能对比。
Posted by
tanjunchen
on Friday, April 4, 2025
Software Developer