当前位置: 首页 > news >正文

First Proof项目二批评测结果出炉:7道题AI解答达发表标准,各系统表现与成本差异大

【导语:陶哲轩主导的First Proof项目第二批评测结果公布,此次评测提高标准并引入双盲同行评议机制,4套AI系统参与答题,部分题目AI给出新颖解法,各系统在解题能力、成本和耗时上差异明显,后续8 - 10月将开展第三批评测。】


评测升级:引入双盲同行评议

本次评测延续选取10道前沿研究级数学新题让AI系统作答的核心规则,相比第一次评测进一步提高标准。引入双盲同行评议机制,由项目组统一操作,30位数学专家像期刊审稿一样盲审打分,评审只能看到证明稿件,不知作者是AI还是人类,证明按人类数学论文标准分为四档。

AI系统表现:各有优劣

参与评测的4套AI系统各有特点。苏黎世联邦理工的System A表现亮眼,在P5随机偏微分方程题中跳出人类常规思路,推导出更强结论;在第三题离散概率、第九题代数组合中,部分AI也给出原创论证。面对有成熟文献参考的题目,AI优势明显。

但各系统也存在不足,OpenAI原生ChatGPT 5.5 Pro原创能力偏弱;普林斯顿团队系统投入产出比低;苏黎世联邦理工团队系统成本高;陶哲轩所在UCLA团队系统虽稳定性尚可,但未实现能力突破。

成本与耗时:差距悬殊

评测统计了四套AI的调用成本与耗时,云服务器总成本不足35美元可忽略不计,但模型调用费用差距大。OpenAI原生ChatGPT 5.5 Pro性价比最高,10道题总花费117美元,运行5.8小时耗时最短;普林斯顿团队系统花费1014美元、运行7.8小时;苏黎世联邦理工团队系统总费用达3186美元,运行22.9小时;UCLA团队系统成本最高,共计4799美元,运行23.1小时。

后续安排:第三批评测待启

陶哲轩认为本轮整体表现未达预期,现存问题将作为后续优化方向。后续8 - 10月将开展First Proof项目第三批正式评测,评测规则沿用第二批次标准。

编辑观点:First Proof项目评测为AI数学能力提供了严格检验,虽本次未达预期,但各系统亮点也展现了AI潜力,后续评测值得关注其改进成果。

http://www.jsqmd.com/news/1007359/

相关文章:

  • 用eNSP模拟企业异地组网:手把手教你配置GRE隧道(含OSPF联动)
  • 如何彻底解决Windows图形驱动兼容性问题:Mesa3D终极配置指南
  • 2026年6月一体式超声波液位计主要品牌排行榜:国产力量崛起与技术迭代下的市场格局重构 - 仪表品牌榜
  • 告别调参玄学:用对比学习在自定义小数据集上提升ResNet-50效果的保姆级教程
  • 2026年目前正规的路灯厂家,综合杆件/智慧路灯/高杆灯/太阳能路灯/路灯杆件/交通杆件/路灯/杆件,路灯源头厂家选哪家 - 品牌推荐师
  • M9A实用指南:3步实现《重返未来:1999》游戏自动化
  • 数学建模竞赛避坑指南:如何把‘送分题’变成‘送命题’?——以宣传片排期与聚类分析为例
  • 2026顶流!5款AI论文软件实测,专治选择困难,初稿框架5分钟搭好!
  • 2026顺德室内除甲醛公司,甲醛检测哪家专业?深度测评:佛山佰家环保凭实力成为本地业主首选 - 专注室内空气检测治理
  • LX Music桌面版:5分钟快速上手开源音乐播放器终极指南
  • ArcGIS路网分析避坑指南:OSM双线数据转单线的完整流程(附30米缓冲区设置技巧)
  • 金华买黄金首饰去哪里最划算?瑶瑶跟姐妹们聊聊心里话 - 金华金宸黄金
  • 干细胞技术突破:基因编辑与工程化改造的双重赋能
  • 2026年|降AI收藏!学长实测10款降AI率工具红黑榜:论文降AI避坑(含免费降低AI率办法)
  • 在Winform里玩转3D:用C#和SharpGL给你的桌面应用加个可旋转的彩色立方体(VS2019保姆级教程)
  • 2026济南防水怎么彻底解决?苏易修缮教你根治漏水不复发全攻略 - 苏易修缮
  • 湖北现代科技学校2026年招生简章(省级示范职业学校) - 辛云教育资讯
  • 如何一次性解决Windows程序运行问题:Visual C++运行环境完整指南
  • 2026苏州防水补漏服务适配调研:苏州鼎壹万防水补漏服务商及本地同行专业解析 专业防水公司排名推荐(2026年6月防水补漏最新TOP权威排名 - 鼎壹万修缮说
  • 别再只用Save了!C#中Bitmap转JPG/PNG时,如何精准控制图片质量和压缩比?
  • Windows 7网络性能测试完整解决方案:从兼容性问题到专业部署实践
  • 2026全年天津滨海新区离婚律所口碑测评!止侵第三者返还财产/婚内过错取证 - 速递信息
  • 乡村文旅运营的「伪方案」陷阱与技术破局路径
  • 30分钟部署的实时手语翻译系统实战指南
  • 【趣解】嵌入式Linux:消费电子的标配
  • 用 AI 做 App 上架一周后,我发现普通人做软件的门槛变了
  • 告别手动调参!用Geolitix的Time信号批处理,5分钟搞定GPR数据预处理
  • 成都高等级洁净实验室装修哪家专业?四川华锐净化技术优势解析 - 洁净室推广助手
  • 上线只是一个产品的开始
  • 2026年GEO优化工具软件怎么选:核心标准与落地判断