OpenAI 工程师翁家翌实验：AI 可“自主改代码”变强，Heuristic Learning 产业应用前景几何？
从387分到满分的工程闭环
翁家翌在业余时间维护EnvPool，需要一种更便宜的方式来测试游戏环境是否运行正常。他用Codex尝试写一个完全基于规则的版本，一开始结果不理想。随后改变任务形式，要求Codex维护一整套循环。Breakout实验记录显示，Codex分数逐步提升，最终达到理论上限，并将策略迁移到纯图像输入版本也取得满分。
Heuristic Learning的定义
翁家翌将这个不断进化的“软件策略”过程命名为Heuristic Learning（HL，启发式学习 ），维护出的对象命名为Heuristic System （HS，启发式系统）。HL由程序代码构成，与常见深度强化学习有不同更新对象和反馈形式。虽“用程序而非神经网络做策略”并非首创，但翁家翌借助Codex压低程序策略迭代成本，论证了新的工程路径。他还给出HL和Deep RL的对照表，证明HL拥有一些工程意义上的属性。
Atari57的批量验证：边界与短板
翁家翌把Codex工作流扩展到Atari57，进行严苛实验。衡量结果用HNS指标，Codex前期效率亮眼，但翁家翌指出未折算阅读日志等成本。Codex在不同游戏表现不均，在部分游戏表现好，但在一些节奏快、模式复杂的游戏中，PPO碾压。Montezuma’s Revenge暴露了Heuristic Learning的表达力极限。
一旦范式成立，产业意义在哪里？
如果Heuristic Learning路径成立，有四个产业落点。一是机器人控制，可降低部署端对高功耗GPU推理卡的依赖；二是安全关键场景的可审计性，让安全问题进入软件工程流程；三是持续学习与在线学习的工程化，将问题改写成维护软件系统问题；四是Agent产品的能力沉淀，可沉淀代码资产，不同Agent可共享heuristic。但这些都依赖HL在更复杂任务上被验证。
工程债从权重转移到代码
翁家翌认为HL不能完成神经网络能做的所有事情，受限于代码表达内容。他提出将神经网络与HL结合处理Online Learning和Continual Learning的分工设想。若成立，在coding agent时代，经验也许可变成可读、可改、可测试的软件。