目录
- 大模型多机多卡 & vLLM 推理加速学习计划（工程向）
- 总周期：约 2–3 周（全职学习）
- 各阶段详细拆解（你每天该干什么）
- 阶段 0：认知校准（Day 0–1）
- 阶段 1：单机单卡 vLLM（Day 1–2）
- 阶段 2：单机多卡（Day 3–4）
- 阶段 3：多机多卡基础（Day 5–7）🔥核心阶段
- 阶段 4：多机 vLLM 推理（Day 8–9）
- 阶段 5：推理加速专项（Day 10–12）
- 阶段 6：工程化 & H100 迁移（Day 13–15）
- 你完成这套计划后，客观能力水平
- 实话一句（工程视角）
下面是一份严格面向工程落地、按 2–3 天一个节奏拆解的学习计划表，假设你的前置能力正如你所说：
- ✅ 已掌握 Transformer 原理
- ✅ 会 LoRA 微调
- 🎯 目标：多机多卡 + vLLM 推理加速（消费级 GPU → 可迁移 H100）
这不是“看文档式计划”，而是每个阶段都有明确工程产出。
大模型多机多卡 & vLLM 推理加速学习计划（工程向）
总周期：约 2–3 周（全职学习）
| 阶段 | 时间 | 学习主题 | 核心知识点 | 明确产出（必须能跑/能讲） |
|---|---|---|---|---|
| 阶段 0 | Day 0–1 | 分布式推理认知校准 | 推理 vs 训练分布式、DP/TP 区别、vLLM 架构 | 能画出「vLLM 推理数据流图」 |
| 阶段 1 | Day 1–2 | 单机单卡 vLLM | vLLM 基本用法、FP16、KV cache | 单卡 vLLM 推理服务跑通 |
| 阶段 2 | Day 3–4 | 单机多卡推理 | torchrun、Tensor Parallel | 单机 2 卡 vLLM 推理 |
| 阶段 3 | Day 5–7 | 多机多卡基础（重点） | torch.distributed、NCCL、rank | 2 机 × 1 卡通信跑通 |
| 阶段 4 | Day 8–9 | 多机 vLLM 推理 | vLLM 分布式推理、TP 跨节点 | 2 机 × 1 卡 vLLM 推理 |
| 阶段 5 | Day 10–12 | 推理加速专项 | batch、KV cache、并发、延迟 | 一份吞吐/延迟对比报告 |
| 阶段 6 | Day 13–15 | 工业化与迁移 | 参数化、H100 迁移思维 | H100 迁移说明文档 |
各阶段详细拆解（你每天该干什么）
阶段 0：认知校准（Day 0–1）
目标：避免“用训练思维学推理”
-
学清楚：
- 推理只关心 前向 + KV cache
- vLLM ≠ transformers.generate
-
理解：
- 为什么推理不用 Data Parallel
- 为什么 Tensor Parallel 是主流
✅ 产出
- 一张你自己画的：
「请求 → tokenizer → vLLM → KV cache → GPU → 输出」图
阶段 1：单机单卡 vLLM（Day 1–2）
目标：你必须能独立跑一个推理服务
必学
- vLLM 安装
- FP16 模型加载
- max_tokens / batch 基础调优
✅ 产出
-
单卡 vLLM CLI 或 HTTP 服务
-
能回答：
- vLLM 为什么快
- KV cache 是怎么减少重复计算的
阶段 2：单机多卡（Day 3–4）
目标：理解「多卡 ≠ 自动更快」
必学
- torchrun
- tensor_parallel_size
- 显存如何被切分
✅ 产出
-
单机 2 卡 vLLM 推理成功
-
一张表：
- TP=1 vs TP=2 的延迟/吞吐对比
阶段 3：多机多卡基础（Day 5–7）🔥核心阶段
目标：真正进入“工业分布式”
Day 5
- 两台机器网络打通
- torch.distributed hello world
Day 6
- NCCL 调试
- 人为制造 hang / timeout
Day 7
- 稳定跑通 2 机 × 1 卡通信
✅ 产出
-
两机不同 rank 正确打印
-
你能清楚解释：
- world_size / rank / node_rank
- NCCL 在干什么
阶段 4：多机 vLLM 推理（Day 8–9）
目标：完成一个真正的“多机推理系统”
必学
- vLLM 分布式启动
- TP 跨节点
- 网络瓶颈认知
✅ 产出
-
2 机 × 1 卡 vLLM 推理服务
-
能解释：
- 为什么慢
- 网络在哪成为瓶颈
阶段 5：推理加速专项（Day 10–12）
目标：你要知道“怎么调才有意义”
必学
- batch size vs latency
- 并发请求
- vLLM paged KV cache
✅ 产出
-
一份表格或文档：
- batch / 并发 / latency / QPS
-
明确结论：
- 哪个参数最影响吞吐
阶段 6：工程化 & H100 迁移（Day 13–15）
目标：从“能跑”到“像生产代码”
必学
- 参数化（dtype / TP / batch）
- 启动脚本拆分
- H100 架构差异（BF16 / NVLink）
✅ 产出
-
一份文档：
「当前代码如何迁移到 H100 × 8」
你完成这套计划后，客观能力水平
你将具备：
-
✅ 真正跑过多机多卡 vLLM
-
✅ 能独立排查 NCCL 问题
-
✅ 能回答面试级问题：
- 为什么不用 INT8
- 什么时候该上 H100
- 消费卡方案的极限在哪里
实话一句（工程视角）
能把 2 机 × 1 卡 vLLM 推理跑稳的人，
在工程能力上，已经明显高于“只会 LoRA + 单卡推理”的人。
如果你愿意，下一步我可以直接给你：
- Day 1–7 的命令级 checklist（一步步照抄跑）
- 或 一个最小可行 vLLM 多机推理仓库结构
你选一个，我直接给。