Ilya闭关两年,第一把剑终于要出鞘了
如果要给AI圈排一个"哥已不在江湖,但江湖到处都是哥的传说"的榜单,前OpenAI首席科学家 Ilya Sutskever 一定排在最前面。
2024年5月离开OpenAI之后,他自己创办的SSI(Safe Superintelligence,安全超级智能)几乎从牌桌上消失了——不发模型、不做产品、不公开论文,外界根本不知道他们这两年到底在研究什么。
可就在今天下午,一则爆料炸开了锅:SSI 的第一款模型,可能真的要来了。
这把藏了两年的剑,终于要出鞘了。
爆料说了啥:一个"边用边学"的小模型
8月13日,X(推特)上一个叫"三只草莓"的网友爆料,SSI 正在探索一种基于TTT(测试时训练)的小型推理引擎。
大意是:这个模型会用专门整理的数据,先学会"如何学习",然后在真正解决问题的过程中,一边推理一边更新自己的部分权重。哪怕模型本身规模不大,也可能和经过更大规模训练的模型掰手腕。
更关键的是,爆料还提到:SSI 当前版本已经准备就绪,团队正计划把下一代版本的规模直接扩大10倍,而且最快可能这个8月就露脸,早期先向少数用户开放。
要是爆料属实,那 SSI 藏了两年的底牌,可能真的按捺不住了。
为什么大家都信:三条明晃晃的线索
这则爆料能迅速传开,不只是因为"Ilya"三个字自带流量,而是它正好撞上了三条已经公开的线索。
第一条,来自 Ilya 自己说过的话。去年11月,Ilya 在一个播客里说过一段很关键的话。他说"AGI"和"预训练"这两个词把行业带偏了——因为人并不是生下来就掌握所有工作的通用智能,人真正靠的是持续学习。他设想的超级智能,更像一个极其聪明、求知欲旺盛的15岁少年:懂得不算多,却能边学编程、边学医学、边学各种工作,在一次次试错里继续长大。
换句话说,Ilya 想造的不是一台"出厂即无所不知"的机器,而是一个能学会任何工作的心智。这和爆料里"模型在解题时更新自己"的 TTT 路线,指向同一个方向。
第二条,来自英伟达。今年7月27日,英伟达宣布与 SSI 达成长期战略合作、投资 SSI,并提供下一代 Vera Rubin 系统,让 SSI 的算力直接提升一个数量级(约10倍)。据路透社消息,投资金额高达50亿美元。
英伟达在公告里特意写了一句耐人寻味的话:SSI 过去两年一直在悄悄推进一条新的研究路线,英伟达罕见地接触到这项高度保密的研究后,决定推动它进入下一阶段。翻译过来就是——老黄亲自验过牌了。至于牌是什么,他没说。
第三条,来自技术本身的进展。这两年,越来越多研究者开始厌倦"不断把上下文做长"这条路线,转而寻找更接近人类的学习方式。原因很朴素:人不是靠把小抄越写越长来学习的,而是在经历一件事后,调整自己的内部连接——下一次再遇到类似问题,你已经不是上一次的自己了。这正是 TTT 真正有意思的地方。
一张"会消失的作弊小抄",还是真的改变了自己?
那 TTT 到底是个啥?它和现在火得不行的 Agent、Harness 有什么区别?
简单说,现在的很多大模型技术(比如给 Agent 搭脚手架、喂更多上下文),本质上是让模型看到更多、调用更多——给模型配个外挂,但它本身没变。上下文就像一张随时能翻的"作弊小抄",模型解决完问题,小抄还是小抄。
TTT(Test-Time Training,测试时训练)不一样。它让模型把"训练"和"推理"不再彻底分开:在真正解决眼前的问题时,拿当前的数据继续训练一遍自己,根据误差调整内部状态,甚至直接更新一部分参数。
爆料里还提到一篇相关论文《End-to-End Test-Time Training for Long Context》:传统长上下文模型是把前文存在"窗口"里、查的时候再翻;而这套做法把整段上下文当成训练数据,让模型在读的过程中把信息压进自己的权重里。上下文不再是一张随时翻阅的小抄,而是真正改变模型本身的学习材料。
一句话总结区别:别的技术让模型手里的工具变多,TTT让模型自己变强。
最难的那道坎:让它学会"什么不能学"
如果 TTT 这么牛,为什么大家过去不敢用?
难点在于:一个能在部署后修改自己的模型,可能学错、学偏,甚至把自己原有的能力忘了。
这不是杞人忧天。2016年,微软的聊天机器人 Tay 上线不到24小时,就在网友的诱导下开始输出攻击性内容,最后被紧急下线。Tay 和 TTT 不是同一种技术,但它很早就暴露了同一个难题——安全。
所以有人就问爆料网友:那安全问题解决了没?对方说:Ilya 已经解决了。
这句话当然算不上实锤,更像是江湖传言。但偏偏它又绕回了 SSI 那个名字里的第一个字母——Safe(安全)。如果 Ilya 真想造一个部署之后不断成长的超级智能,那么"让它学会学习"其实只解决了一半问题。剩下那一半甚至更难:让它知道,什么不能学。
所有人为什么都在等他
最后还有个问题:为什么一则连真伪都无法确定的匿名爆料,能让这么多人兴奋?
答案很简单——因为站在那扇门后面的那个人,是 Ilya Sutskever。
他是 OpenAI 联合创始人、前首席科学家,也是过去十几年深度学习最有影响力的研究者之一。从 AlexNet、Sequence-to-Sequence、AlphaGo 到 GPT 系列,都有他的名字。英伟达在合作公告里还提到,Ilya 后来还主导了通向 o1 等推理模型的研究。
他最吓人的地方,从来不是发模型多,而是他的职业生涯里,有好几次都在技术路线真正成为共识之前,就提前站到了那条路上。
过去两年,Ilya 反复谈泛化、谈持续学习,甚至暗示预训练时代可能正在走向终点。现在又有人爆料,SSI 正在做一个会在推理过程中继续更新自己的模型。
如果这两条线最终真的能对上——那 Ilya 闭关两年磨的,可能真的不是另一个更大的 GPT,而是一把会在出手时,自己变招的剑。
准备好吧。
文中所用图片来源于网络,仅供技术学习与交流。如权利人认为存在侵权,请联系我们,我们将在24小时内处理。
