漫步远方,心荡神往

A800 单机8卡体验 DeepSeek-R1-AWQ 量化满血版之旅

A800 单机8卡体验 DeepSeek-R1-AWQ 量化满血版之旅

探索在单节点 NVIDIA A800 8卡服务器上使用 vLLM 部署 DeepSeek-R1 AWQ (W4A16) 4bit 量化满血版的坑点与性能表现,包含显存占用分析与量化损耗评测。