【学习笔记】推理模型原理：o1 / R1 的 Test-Time Scaling 新范式（32/35）
如果说 2017-2023 大模型的关键词是Scaling Law（参数和数据越多越好），那 2024-2026 就出现了一个全新关键词——
Test-Time Scaling（推理时扩展）。
这是和 MoE 并列的，过去三年大模型最重要的两大架构创新。它的核心思想极其反直觉：
让模型在回答前，先「思考很久」。
简单一句话背后，是 OpenAI o1（2024.09）、DeepSeek R1（2025.01）、Claude 4 Thinking、Gemini 2.5、Qwen3 Thinking 等一系列"推理模型"的崛起。
如果你做过相关工作，下面这些问题应该不陌生：
推理模型和普通 LLM 有什么本质区别？
R1 是怎么从 V3 训出来的？为什么"R1-Zero 的 aha moment"那么轰动？
推理模型为什么思考可以那么长？token 不就爆炸了吗？
我的业务该不该用推理模型？什么时候用？
推理模型部署有什么特殊要求？
读完本文你将能：
理解 Test-Time Scaling 的数学逻辑
拆解 DeepSeek R1 的训练流程（含 GRPO 算法）
评估推理模型的工程成本与业务价值
部署推理模型的关键注意事项
判断推理模型的未来方向
我们开始。
一、Test-Time Scaling 的革命
1.1 一句话颠覆 Scaling Law
回顾第 6 篇我们讲的传统 Scaling Law：
模型 Loss ∝ N^-α · D^-β · C^-γ N：参数量 D：数据量 C：训练算力过去 6 年，行业的逻辑都是「堆训练算力 = 更好的模型」。
2024 年 9 月，OpenAI 发布 o1，提出新观点：
训练算力到了一定规模后边际收益递减。但「推理时多想几步」能持续提升效果。
换言之：算力支出从"训练阶段"转移到"推理阶段"。
1.2 数学逻辑
考虑一道数学题：
朴素 LLM： prompt → 直接生成答案 生成 200 token 推理模型： prompt → 生成思考链（2000-10000 token）→ 答案 总生成 5000+ token实测结果（AIME 数学竞赛）：
模型 | 准确率 |
GPT-4o（无思考） | 9% |
o1-mini | 70% |
o1（深度思考） | 83% |
| o3 | 96% ⭐ |
思考时间越长，效果越好——这就是 Test-Time Scaling。
1.3 为什么这是「革命」
之前业界以为：模型能力主要由训练决定，推理就是"取出来用"。
推理模型证明：模型还有大量"潜在能力"，只有在长时间推理下才被激活。
经济意义：
训练成本：一次性
推理成本：随业务量持续支出
新范式让"算力支出"匹配"任务难度"——简单问题快回答，难问题深思考
1.4 三个 Scaling Law 并存
2026 年，业界形成了三个并存的 Scaling Law：
1. Pre-training Scaling ── 训练算力 → 基础能力 2. Post-training Scaling ── RL / SFT 算力 → 对齐与精炼 3. Test-Time Scaling ── 推理算力 → 深度推理未来 5 年，Test-Time Scaling 占比会越来越大。
二、推理模型的核心机制
2.1 思考链（Chain of Thought）
第 30 篇我们讲过 CoT prompt 技巧——但推理模型把 CoT 内化到了模型本身。
普通 LLM 用 CoT prompt： 用户：「逐步思考...」（明确要求） 模型：思考 → 答案 推理模型： 用户：「2 + 3 × 7 = ?」 模型自动： <thinking> 先算乘法：3 × 7 = 21 再算加法：2 + 21 = 23 答案是 23 </thinking> 23关键区别：
普通 LLM：需要 prompt 引导才思考
推理模型：天生会思考，且思考更长更深
2.2 thinking tokens 的工程意义
推理模型把思考过程标记为特殊 token：
<thinking>...内部推理...</thinking> <answer>最终答案</answer>或者类似 OpenAI o1：
[隐藏的内部 reasoning tokens] 最终答案对用户可见工程影响：
token 数大幅增加：一个问题可能产生 5K-50K thinking tokens
TTFT 变长：用户看到答案前要等模型"思考完"
API 计费：thinking tokens 也算钱
2.3 推理深度的可控性
主流推理模型都提供「思考深度」参数：
# OpenAI o3 response = client.chat.completions.create( model="o3", messages=[...], reasoning_effort="high" # low / medium / high ) # Claude 4 Thinking response = client.messages.create( model="claude-opus-4-7", thinking={ "type": "enabled", "budget_tokens": 10000 # 思考预算 }, messages=[...] ) # DeepSeek R1 response = client.chat.completions.create( model="deepseek-r1", messages=[...], extra_body={"thinking_budget": 8000} )工程师视角：
「思考预算」是新的核心调参维度——和 max_tokens / temperature 并列。
三、DeepSeek R1：第一个公开的推理模型完整训练方法
OpenAI o1 的训练方法没有公开。但 2025.01 DeepSeek R1 完整开源 + 公开了训练方法，彻底改变了行业认知。
3.1 R1 的训练流水线
DeepSeek-V3 Base ↓ [R1-Zero] 直接做 GRPO 强化学习 ↓ 观察：模型自发出现"反思"、"验证"等推理行为 ↓ [R1] 加 SFT 数据 + 多轮 GRPO + 通用对齐 ↓ DeepSeek-R1（超过 o1 的开源推理模型）3.2 GRPO 算法（第 8 篇深入讲过）
回顾 GRPO 的核心：
对同一个 prompt，模型生成 K 个不同回复 计算每个回复的 reward（数学题对错、代码能不能跑、推理是否合理） 组内归一化得到 advantage 更新模型关键设计：
不用 critic 模型（省 1 个 70B 显存）
不用复杂偏好模型（用规则验证）
奖励信号稀疏但明确
R1 训练的奖励函数：
def reward_function(question, response): # 1. 答案正确性（最重要） if has_correct_answer(question, response): reward += 1.0 # 2. 格式正确（用 <thinking> 包裹） if has_thinking_tags(response): reward += 0.1 # 3. 语言一致性 if same_language_as_question(question, response): reward += 0.05 return reward3.3 R1-Zero 的「Aha Moment」
R1 训练过程中最震撼业界的发现：
纯 RL 训练（不加任何 SFT 推理数据）能让模型自发"学会反思"。
DeepSeek 公开的训练日志里有这样的输出：
模型生成（训练某步）： 设 x = ... 应用公式... 得到 x = 5 等等，让我重新检查 我看错了一步 重新计算... 正确答案是 x = 7 哦！这就是 aha moment.模型自己"涌现"出了反思能力——没有任何人教它"要反思"。
这个发现震撼业界：
证明 RL + 简单奖励能让模型涌现复杂推理
"推理能力"不需要显式数据
给开源社区"做推理模型"打开了大门
3.4 R1-Zero vs R1
R1-Zero 虽然推理能力强，但有问题：
输出语言可能混乱（中英夹杂）
不易读
对齐性不够（拒答率低）
所以 DeepSeek 又做了 R1（基于 R1-Zero 加 SFT + 多轮 RL）：
R1-Zero（纯 RL）→ 收集高质量 thinking 输出 → SFT R1 → 再做 GRPO → R1最终 R1：推理强 + 输出清晰 + 对齐好。
3.5 R1 开源后的影响
R1 完全开源（包括权重 + 训练方法）后：
6 个月内Qwen、阿里、智谱、零一、百川 等都推出推理模型
蒸馏小模型潮：R1 蒸馏到 Llama 8B、Qwen 7B 等，让小模型也能推理
开源推理模型质量逼近 o3
四、推理模型的部署与使用
4.1 与传统 LLM 的部署区别
维度 | 传统 LLM | 推理模型 |
平均输出长度 | 200-1000 token | 5K-50K token |
TTFT | 200-500 ms | 不变 |
端到端延迟 | 5-15 秒 | 30 秒 - 5 分钟 |
单请求成本 | 中 | 高 10-50× |
适合场景 | 通用对话 | 复杂推理 |
4.2 部署 DeepSeek R1
# SGLang 部署 R1（推荐） python -m sglang.launch_server \ --model-path deepseek-ai/DeepSeek-R1 \ --tp 8 \ --ep 4 \ --enable-deepep \ --quantization fp8 \ --kv-cache-dtype fp8 \ --max-model-len 65536 \ # 思考链占用大 --port 30000关键参数变化：
--max-model-len 65536：必须设大（thinking 链占满）KV Cache 量化必开（thinking 让 KV 爆炸）
4.3 思考链可见性
不同模型对 thinking 的处理不同：
模型 | 思考可见？ |
OpenAI o1 / o3 | 不可见（只算 token） |
OpenAI gpt-5（reasoning 模式） | 部分可见 |
Claude 4.7 Thinking | 可见 |
DeepSeek R1 | 完全可见 ⭐ |
Qwen3 Thinking | 可见 |
Gemini 2.5 Pro | 部分可见 |
完全可见的好处：
调试方便
信任度高（用户能看推理过程）
• 可以做"思考链摘要"
完全不可见的好处：
保护商业机密（OpenAI 担心被蒸馏）
UI 简洁
4.4 流式输出的特殊处理
# 推理模型的流式输出要区分 thinking 和 answer async for chunk in stream: if chunk.thinking: # 显示 "🤔 思考中..." 或折叠区 update_ui(thinking_chunk=chunk.thinking) elif chunk.content: # 正常显示答案 update_ui(answer_chunk=chunk.content)用户体验设计：
思考过程：折叠 / "🤔 推理中" 动画
最终答案：流式 / 高亮
思考时长：明显展示（用户更愿意等）
4.5 Prompt 工程的变化
第 30 篇我们讲过——对推理模型，prompt 反而要更简洁：
❌ 对推理模型不必要： - "Let's think step by step"（它自己会） - 复杂 CoT 提示 - 大量 few-shot 例子 ✅ 推理模型友好： - 清晰的任务描述 - 明确的输出要求 - 1-2 个例子（如有需要）Anthropic 官方建议（Claude 4 Thinking）：
对 thinking 模型，prompt 要： - 简洁直接 - 明确"思考预算" - 给"何时停止思考"的信号五、2026 年的推理模型版图
5.1 闭源推理模型
模型 | 思考深度 | 价格（输出/M token） |
| OpenAI o3 | 极深 | $40+ |
GPT-5（reasoning 模式） | 深 | $40 |
| Claude Opus 4.7 Thinking | 深 | $75 |
Claude Sonnet 4.6 Thinking | 中 | $15 |
| Gemini 2.5 Pro （thinking） | 深 | $10 |
Grok 3 Reasoning | 中 | - |
5.2 开源推理模型
模型 | 来源 | 思考能力 |
| DeepSeek R1 | DeepSeek | 接近 o1 ⭐ |
| DeepSeek R2 （预计 2026 Q3） | DeepSeek | 接近 o3 |
Qwen3-Thinking-72B | 阿里 | 接近 R1 |
GLM-4.5 Thinking | 智谱 | 接近 R1 |
QwQ 系列 | 阿里 | 早期版本 |
| DeepSeek-R1-Distill | 多个版本 | 7B - 70B 蒸馏 |
5.3 蒸馏：让小模型也会推理
DeepSeek-R1-Distill 让端侧小模型也能推理：
R1 (671B) ↓ 蒸馏 DeepSeek-R1-Distill-Qwen-32B ↓ DeepSeek-R1-Distill-Llama-8B ↓ DeepSeek-R1-Distill-Qwen-1.5B ← 手机能跑实测（数学 AIME 2024）：
模型 | 准确率 | 大小 |
GPT-4o | 9% | 闭源 |
Claude 3.5 Sonnet | 16% | 闭源 |
R1-Distill-1.5B | 28% | 1.5B（手机能跑） |
R1-Distill-7B | 55% | 7B |
| R1-Distill-32B | 72% | 32B |
DeepSeek R1 (671B) | 79% | 671B |
1.5B 蒸馏模型超过 GPT-4o——这是 2026 年最震撼的事实之一。
六、推理模型的应用边界
6.1 什么场景该用推理模型
✅强烈推荐：
数学 / 物理 / 化学：明确对错的推理题
代码生成 / Debug：复杂逻辑问题
数据分析：多步骤推断
复杂规划：旅行 / 项目 / 战略
法律 / 医疗推理：需要严谨论证
✅推荐：
复杂 Agent 任务（多步规划）
RAG + 推理（检索后深度分析）
创意写作（多次自我批评）
❌不推荐：
简单问答（杀鸡用牛刀）
闲聊
翻译 / 摘要（标准任务）
实时对话（延迟敏感）
大流量 ToC（成本太高）
6.2 经济性测算
假设业务每天 1 万次调用：
模型类型 | 单次平均 token | 日成本 |
Claude Sonnet 4.6（标准） | 500 | ¥27 |
Claude Sonnet 4.6 Thinking | 5000 | ¥270 |
Claude Opus 4.7 Thinking | 8000 | ¥4320 |
DeepSeek V3（标准） | 500 | ¥4 |
DeepSeek R1（推理） | 5000 | ¥40 |
结论：
推理模型成本是普通的10-50×
必须有明确价值才划算
国产推理模型成本远低于闭源
6.3 混合架构（生产最常用）
# 用小模型路由 async def smart_route(question): complexity = await classifier_model.classify(question) if complexity == "simple": return await chat_model.complete(question) # 普通 LLM elif complexity == "medium": return await chat_model.complete(question, cot=True) # 普通 + CoT else: # complex return await reasoning_model.complete(question) # 推理模型实测：把 80% 简单请求路由到普通模型，总成本降 70%+。
6.4 一个真实失败案例
某团队全面替换 Claude Sonnet 为 Claude Opus 4.7 Thinking：
质量：复杂场景提升 30%
延迟：用户反馈"太慢了"
成本：月账单涨 8 倍
结果：3 周后回滚
教训：推理模型不是替代品，是补充品。
七、推理模型的工程难点
7.1 KV Cache 爆炸
5000+ thinking tokens 让 KV Cache 增长 5-10 倍。
对策：
KV Cache 量化（FP8 / INT8）
分组多请求并发（不要一个请求独占）
thinking 完成后释放 thinking 部分的 KV（vLLM 0.7+ 支持）
7.2 长尾延迟
不同难度问题思考时长差异巨大：
简单：5 秒
中等：30 秒
极难：5 分钟
对策：
设
max_thinking_tokens硬上限长任务异步化（先返回 task_id，完成后通知）
p99 延迟容忍度提高
7.3 流式 UX 设计
用户看到屏幕静默 30 秒会以为挂了。
对策：
1. 立即显示「正在深度思考...」 2. 流式输出 thinking 内容（可折叠） 3. 实时显示已思考时长 4. 完成后高亮答案7.4 评估难
推理模型的评估比传统 LLM 难：
思考长度变化大
思考质量难量化
简单题 vs 难题表现差异巨大
对策：
用 AIME / MATH / SWE-Bench / GPQA 等推理 benchmark
业务真实推理题准备 100+ 测试集
不要看平均，看分级（简单 / 中等 / 难）
八、推理模型的未来
8.1 当下趋势
思考时长指数级增长：o3 单题可思考几十分钟
思考过程可控：用户能干预思考方向
多模态推理：图像 + 推理（Gemini 2.5）
小模型推理：蒸馏 + 端侧 thinking
思考成本下降：硬件 + 优化双向推进
8.2 推理 Scaling 的物理上限
传统 Scaling：参数翻倍 → 算力翻 4 倍 推理 Scaling：思考长度翻倍 → 单次成本翻倍短期内，推理 Scaling 比训练 Scaling 更有性价比。但长期，思考长度也会遇到上限（用户耐心 + 经济性）。
8.3 与其他技术的融合
MoE + 推理：DeepSeek R1 已经在做（R1 基于 V3 MoE）
多模态 + 推理：Gemini 2.5 / GPT-5
Agent + 推理：Devin / Claude Code
小模型 + 推理蒸馏：R1-Distill 系列
九、避坑
9.1 坑 1：迷信「推理模型万能」
对策：不是所有任务都需要推理——简单任务用普通 LLM。
9.2 坑 2：忽视成本
对策：上线前算好月度成本，特别是 thinking tokens 部分。
9.3 坑 3：延迟设计不到位
对策：流式 UX + 异步任务 + 进度展示。
9.4 坑 4：prompt 写得太复杂
对策：推理模型 prompt 要简洁，让模型自己思考。
9.5 坑 5：没做能力评估
对策：用真实业务推理题评估，不要只跑通用 benchmark。
十、结语：推理模型是 LLM 的「第二层智能」
读完本文你应该明白：
Test-Time Scaling 是与 Pre-training Scaling 并列的新范式
DeepSeek R1 完全公开了训练方法，开启开源推理时代
GRPO + 简单 reward + 大规模 RL = 涌现推理能力
R1 蒸馏让 1.5B 模型也能超过 GPT-4o
生产场景应该混合架构：简单任务普通 LLM、复杂任务推理模型
推理模型成本是 10-50×——业务价值要匹配
参考文献：
推理模型原理：o1 / R1 的 Test-Time Scaling 新范式