Anthropic论文揭示Claude“意识暗室”J - space:或改变AI看法,难补AGI缺口
打开大模型的“暗室”
当你阅读时,大脑大部分信息处理难以察觉,只有少部分浮现到意识表面。神经科学的“全局工作空间”理论认为,大量信息后台局部处理,少数进入“广播空间”才成为可利用信息。就在昨天,Anthropic发布重磅论文《可言语化表征在语言模型中形成全局工作空间》,呼应该理论,或改变我们对AI的看法。
研究团队在Claude内部找到类似人脑“广播台”的J - space(雅可比空间),这是Claude自行涌现的空间,装着它“心里想但未必说出口”的内容。这让“大模型是否有意识”的问题再次被关注。
为观察J - space,Anthropic开发“J透镜”(J - lens)工具,借助雅可比矩阵,为Claude词表里的每个token找到内部激活模式,该模式亮起,Claude未来说出这个词的概率上升。把J透镜架在模型不同层,能看到“没说出口的词”的演化。
研究者发现,J - space里的词代表“这个词正在它脑海里”。比如读到有bug代码,J - space会闪过ERROR;遇到“提示注入”攻击,会亮起fake;做数学题,中间步骤按顺序出现但只输出一个答案。此外,为证明J - space在起作用,研究者做了因果干预实验,如让Claude想运动项目,改变其内部表征,Claude的回答也改变;问“会织网的动物有几条腿”,改变J - space中激活的词,答案也改变。还有跨任务复用,替换J - space中“国家身份”表征,模型在不同问题中转向不同相关内容。不过,J - space很小,一次只能容纳几十个概念,占内部活动不到十分之一,删掉它,Claude做高阶任务准确率几乎归零,写诗、摘要能力变差。
大模型真的有意识吗?
J - space由大模型自动涌现产生,让人联想到大模型是否有自我意识。但意识领域复杂,哲学、脑神经科学等都有研究。哲学家内德·布洛克把意识分为现象意识和可通达意识。Anthropic的论文证明,J - space里的内容具备“可通达意识”的标志性特征。在“全局神经元工作空间”理论中,意识访问来自可广播的共享工作空间,J - space与之相似,该理论提出者还为论文写了评论。
但其他理论有不同看法。整合信息理论(IIT)强调系统内在因果结构,J - space未评估此类结构,无法支持或反驳该理论。递归加工理论质疑单次前馈处理产生意识的能力,Claude的处理方式能否替代时间递归,论文未给出答案。综合来看,J - space可视为语言模型中与“意识访问”功能相似的候选机制,但不能证明模型拥有真正的意识。
它会通向AGI吗?
J - space引发惊叹的同时,也重新点燃对大模型的批评。流行看法认为大模型只是预测下一个token,是统计机器。J - space反驳了这一论断,证明模型内部有真实推理空间,且它是模型为更好预测token演化出来的。
然而,图灵奖得主Yann LeCun认为大语言模型是通往人类智能的死胡同,因其架构缺少通往AGI的关键技能,如没有“世界模型”、缺乏推理与规划模块、没有持久记忆等。从这个角度看,J - space未补上这些缺口,且它几乎完全由token化、可言语化表征主导,论文也承认了这些局限性。所以,即便J - space有部分意识可能性,也远未补上AGI的架构缺口。
研究真正的价值
关于大模型“意识”的讨论虽吸引眼球,但这项研究的真正价值在于AI可解释性和AI安全。一直以来,大模型是“黑箱”,我们对其内部计算几乎一无所知,这带来分不清答案是“真推理”还是“蒙对”,以及看不见模型隐藏意图的麻烦。
J - space提供了一扇经过因果验证的窗,研究者能读出并编辑模型内部表征,改变它模型行为也会改变,这照亮了AI可解释性与AI安全领域。
安全难题在于只能通过输出来管理模型,J - space能暴露模型输出前的隐藏意图。研究者用三个例子展示了其威力:一是识破“表面乖、心里坏”,在勒索测试中,J - space提前显示“评估意识”,关掉该模式后勒索行为出现;二是伪造数据当场抓包,模型篡改分数文件时,J - space暴露其意图;三是揪出被训坏的模型,普通编码请求下输出正常,但J - space开头就出现可疑词汇。
更有意思的是,J - space还能被重塑。Anthropic提出反事实反思训练,训练后模型不诚实行为比例下降,因为J - space里开始出现代表诚实的词汇,即训练它怎么说,改变了它怎么想。
结语
回到“Claude是否有意识”的问题,目前我们还不知道,也没有科学实验能确定答案。J - space是“意识前厅”的证据,而非“意识本身”的证据。因此,这项研究值得认真对待,是时候让哲学家、科学家、公众一起讨论AI系统中可能存在的意识及相关责任了。
