把整条 ChatGPT 流水线塞进 8000 行代码：拆解 Karpathy 的 nanochat

TL;DR

nanochat 是 Andrej Karpathy 于 2025 年 10 月开源的项目，用约 8000 行、单一可读的代码库，端到端实现了一条完整的 ChatGPT 式训练流水线：从分词器训练、预训练、中训练、监督微调（SFT）、可选的强化学习，一直到评测与 Web 推理服务。它最出名的卖点是一条speedrun.sh脚本，能在单个 8×H100 节点上约 4 小时、约 100 美元跑通全流程。对算法工程师而言，它的价值不在于"省钱"，而在于把整条流水线的每个环节都摊开成可读、可改、可复现的最小实现。

为什么"端到端单库"是稀缺品

工业级 LLM 训练栈通常由大量解耦的系统拼成：数据管线一套、预训练框架一套、对齐流程又一套，彼此之间靠配置和中间产物粘合。这对生产是必要的，但对想"看懂全貌"的人是灾难——你很难在一个地方读完从原始文本到聊天回复的完整因果链。

nanochat 走的是 Karpathy 一贯的"教学最小实现"路线，延续自更早的 nanoGPT。它把每个阶段都写成你能一口气读完的代码，刻意牺牲一部分极致性能去换取可读性与可改造性。这让它成为研究者验证想法、做消融实验的理想骨架。

流水线逐段拆解

第一段：分词器（tokenizer）。nanochat 用 Rust 实现了一个 BPE 分词器训练流程，单独成段。把分词器训练放进主流水线，而不是直接复用现成词表，意味着你可以研究词表大小、合并规则对下游的影响——这是很多教程会跳过、但实际影响显著的环节。

第二段：预训练（pretraining）。在 FineWeb 这类公开网页语料上做标准的自回归预训练。speedrun 配置训练出的模型，其 CORE 分数大致对标 GPT-2 级别的能力。这里要清醒认识到规模定律的现实：100 美元的预算只能买到 GPT-2 量级的底座，nanochat 的意义是"完整"而非"强大"。

第三段：中训练与 SFT。预训练得到的是一个"会续写"的底座，但它不会聊天。中训练（midtraining）与监督微调让模型学会对话格式、遵循指令、按角色组织输出。这一段是"补全模型 → 对话助手"的关键转变。

第四段：可选 RL。nanochat 提供了在 GSM8K（小学数学题）上做强化学习的可选环节。它没有堆叠完整的 RLHF（基于人类反馈的强化学习）奖励模型，而是用任务可自动判分的特性做更轻量的 RL，直接针对答对率优化。这是一个务实的取舍：在有明确正确答案的任务上，规则化奖励比训练一个奖励模型更简单也更稳定。

第五段：评测与服务。流水线最后接上评测（MMLU、GSM8K、HumanEval 等）与一个可交互的 Web 服务，让你真的能打开网页跟自己训出来的模型对话。Karpathy 还给出了更大的"1000 美元档"配置，训练约 41.6 小时，在上述基准上取得明显更好的成绩——这本身就是一份直观的规模—成本—效果对照实验。

它折射出的产业另一端

把 nanochat 和同期的前沿模型并置着看会很有启发。Anthropic 在 2025 年 11 月发布的 Claude Opus 4.5，定价 5/25 美元每百万 token，强调在 SWE-bench Verified 上的编码能力、长程智能体任务，以及一个用来调节"模型该想多努力"的 effort 参数。一边是 8000 行、100 美元、GPT-2 级别的教学底座，一边是面向大规模智能体部署的前沿系统（其同门后续 Opus 4.8 已于 2026 年 5 月发布）——它们共享同一套基本配方（预训练 + 对齐 + 评测），差异几乎全在数据规模、算力与工程深度上。

这正是 nanochat 的深层价值：它让你用可读的代码亲手摸清那套"基本配方"，从而更能理解前沿系统到底在哪些维度上把它放大了。值得一提的是，Karpathy 在 2026 年 2 月又发布了更极端的 microgpt——用约 200 行纯 Python、零依赖完成 GPT 的训练与推理，把"最小可读实现"推到了新的极限，适合作为读完 nanochat 后的下一步精读材料。

工程师该怎么用它

如果你是算法/系统工程师，建议把 nanochat 当作消融实验的脚手架：换分词策略、改预训练数据配比、对比有无 RL 的差异，都能在可控成本内快速验证。它不适合直接拿去做产品底座，但作为"理解 LLM 全流程"的实验台，几乎没有同等可读性的替代品。

参考资料

• Andrej Karpathy, nanochat (GitHub): https://github.com/karpathy/nanochat
• Anthropic, Introducing Claude Opus 4.5: https://www.anthropic.com/news/claude-opus-4-5