本文由「大千AI助手」原创发布，专注用真话讲AI，回归工艺本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！
微软研究院凭借模仿人类学生解题思维，让GPT-3在数学问题上的准确率从78.7%提升至92.5%。
在人工智能领域，大型语言模型在文科任务上表现卓越，但在数学推理方面却长期表现不佳。与开放性的自然语言理解不同，数学障碍通常只有一个正确答案，这使得生成准确解对LLMs来说尤其具有挑战性。
微软研究院提出的MathPrompter技术，从人类学生解决数学疑问的方式中获得灵感，经过多种方法验证中间步骤和最终答案，显著提升了模型在数学推理任务上的表现。
MathPrompter 的技术原理
MathPrompter的设计灵感来源于观察学生解决算术问题的过程。学生通常会采取多种方式验证解决方案：
- 遵循已知结果：将解决方案与已知结果比较
- 多重验证：从多个角度处理问题并比较结果
- 交叉检查：核实中间步骤的正确性
- 计算验证：利用计算器或电脑验证最终答案
基于这些观察，MathPrompter构建了一个系统的四步框架，将人类的这种验证思维过程转移到大型语言模型的答案生成过程中。
本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！
往期文章推荐:
- 20.决策树悲观错误剪枝（PEP）详解：原理、实现与应用
- 19.二项分布（Binomial Distribution）详解：从理论到实践
- 18.参考先验（Reference Priors）详解：理论与Python实践
- 17.Haldane先验：极端无知假设下的贝叶斯推断
- 16.Prefix-Tuning：大语言模型的高效微调新范式
- 15.PPT: Pre-trained Prompt Tuning - 预训练提示调优详解
- 14.敏感性分析（Sensitivity Analysis）在机器学习中的应用详解
- 13.SPT：选择性提示调优——让模型自动学习最佳提示插入策略
- 12.余弦相似度：衡量向量空间方向一致性的核心度量
- 11.HotpotQA：推动多跳推理问答发展的标杆数据集
- 10.Search-o1：增强大型推理模型的主动搜索能力
- 9.ViDoRAG详解：多模态文档检索增强生成框架的革命性突破
- 8.Graph-R1：智能图谱检索增强的结构化多轮推理框架
- 7.动态知识蒸馏（Dynamic KD）技术详解
- 6.探索LoSA：动态低秩稀疏自适应——大模型高效微调的新突破
- 5.DropLoRA技术详解：克服大模型微调过拟合的创新途径
- 4.SparseLoRA手艺详解：基于动态稀疏性的大模型高效微调方法
- 3.LIFT：基于低秩引导的稀疏微调
- 2.微软SPARTA框架：高效稀疏注意力机制详解
- 1.差分隐私随机梯度下降（DP-SGD）详解
️ MathPrompter 的工作流程
1. 生成代数模板
首先将具体数学疑问转化为代数形式，依据键值映射将数字项替换为变量。这一步抽象出挑战的本质结构，使其更具通用性。
例如，原始问题：
“在一家餐厅，每份成人餐的价格是5美元，儿童免费用餐。如果有一个15人的团体进来，其中8个是儿童，那么这个团体要花多少钱吃饭？”
被转换为代数模板Q_t：
“在一家餐厅，每份成人餐的价格是A美元，儿童免费用餐。如果有一个B人的团体进来，其中C个是儿童，那么这个团体要花多少钱吃饭？”
映射关系为：{A:5, B:15, C:8}
2. 数学提示
基于多重验证和交叉检查的思维过程，使用两种不同的方法生成Q_t的解析解：代数方式和Python方式。
给LLM的提示包括：
- 代数提示：“写一个数学方程并生成以’answer ='格式开头的答案”
- Python提示：“编写一个返回答案的Python函数”
LLM响应这些提示后，会输出相应的表达式，如代数表达式(B - C) * A或Python函数：
def total_cost(B, C, A):
adults = B - C
return adults * A这些生成的解析解为用户供应了了解LLM"中间思维过程"的窗口。
3. 计算验证
使用输入变量的多个随机键值映射来评估前面生成的表达式，通过Python的eval()方法执行这些表达式。
比较输出结果，看是否能在答案中找到一个共识，这提供了答案正确性和可靠性的更高置信度。一旦表达式在输出上达成一致，就使用输入原始疑问中的变量值来计算最终答案。
4. 统计学意义
为确保在各种表达式的输出中达成共识，实验中将步骤2和3重复大约5次，并报告观察到的出现最频繁的答案值。在没有明确共识的情况下，重复步骤2、3、4。
实际效果与性能评估
在MultiArith数据集上的评估结果显示，MathPrompter的表现显著优于所有Zero-shot和Zero-shot-CoT基线。
基于175B参数GPT-3 DaVinci的MathPrompter模型将准确率从78.7%提升到92.5%，其性能与540B参数模型以及SOTA的Few-shot-CoT方法相当。
MathPrompter的设计弥补了传统方法的几个关键不足：
- 一步之差错误：通过多次运行模型并报告共识结果来避免
- 冗长推理步骤：Pythonic或Algebraic方法通常需要较少的token
- 计算错误：通过使用Python的
eval()方法解决
与其他方法的比较
相比传统的思维链方法，MathPrompter引入了多重验证机制，不仅生成答案，还确保答案的可靠性。
而最新的研究也显示，不同规模的模型需要不同的提示策略。一篇2024年10月的论文提出了"提示反转"现象，发现约束性提示对中等能力模型有利，但对顶级模型可能成为限制。
在多模态数学推理方面，2025年3月的研究表明，即使最先进的多模态大模型在多图数学推理任务中仍然面临巨大挑战，GPT-4o在MV-MATH素材集上仅得32.1分（满分100），这说明数学推理尤其是多模态推理仍是LLMs需要攻克的重点难题。
总结
MathPrompter通过模仿人类学生的解题验证过程，将多重验证、交叉检查和计算验证引入LLM的数学推理流程，显著提升了模型的准确性和可靠性。
这一方法不仅改善了模型在数学困难上的表现，更为提高LLM的推理可靠性提供了宝贵思路。随着模型能力的不断发展，类似MathPrompter这样的约束性方法可能需要与模型能力共同进化，才能在保持准确性的同时不限制模型的潜力。
本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！