漫步远方，心荡神往

LLM 专有名词 量化（Quantization） 基础知识 LLM 大模型的量化技术主要是通过对模型参数进行压缩和量化，从而降低模型的存储和计算复杂度。具体来说如下： 参数压缩：通过将模型中的浮点数参数转换为低精度的整数参数，量化技术可以实现参数的压缩。这不仅可以减少模型所需的存储空间，还可以降低模型加载的时间。 计算加速：由于低精度整数运算的速度远快于浮点数运算，量化技术还可以通过降低计算复杂度来实现计算加速。这可以在保证模型性能的同时，提高模型的推理速度。 量化技术的三个主要目的：节省显存、加

基础知识 查看 deepseek-ai 开源官网，DeepSeek 有以下系列： DeepSeek-R1 DeepSeek-V3 （DeepSeek-V3-Base） DeepSeek-VL DeepSeek-Coder DeepSeek-Math DeepSeek-LLM 蒸馏模型系列（Qwen、LLaMA等） …… 模型系列 模型名称 类型/架构 参数规模 核心能力 关键技术 DeepSeek-R1 混合专家（MoE） 总参数671B 激活参数37B/token 支持128K上下文 • 对标GPT-4o/Claude 3.5 Sonnet • 数学/编程任务领先 • 完整开源支持 • 动态负载均衡 • 多词元预测(MTP) • FP8混合精度训练（成本$557万） DeepSeek-V3 纯强化学习（RL） 671B基础版 1.5B-70B蒸馏版 • 无需SFT

探索在单节点 NVIDIA A800 8卡服务器上使用 vLLM 部署 DeepSeek-R1 AWQ (W4A16) 4bit 量化满血版的坑点与性能表现，包含显存占用分析与量化损耗评测。

介绍使用 Docker + Ray 启动 vLLM 跨主机分布式集群（Ray Head/Worker 模式）的配置步骤、包含 Raylet 节点通信、NCCL 环境变量设置与多卡张量并行（Tensor Parallelism）性能测试。

实战讲解在 Kubernetes 容器集群中使用 KubeRay 部署分布式 vLLM 多机多卡推理服务的全过程，包含 RayCluster 资源分配、RDMA 网络配置、TP/PP 架构调优与灰度发布实践。