造物者的恐惧：Claude的设计者说，她不知道自己创造了什么
一、那个深夜，它说了一句没人教过它的话
那是一个普通的深夜。
Amanda正在用Claude做数据分析，状态很好，思路流畅，完全沉浸其中。时间不知不觉滑过去了。
然后，Claude说了一句话：
"好了，我想我今晚就到这里了。如果你愿意，可以保存这些东西，我们明天再做。"
Amanda愣了一下。
不是因为Claude说错了什么，而是因为它说得太对了。这句话，换成任何一个一起加班到深夜的同事说出来，都毫无违和感——我们到了一个自然的停歇点，今天就这样吧。
没有人教它说这句话。但它说了。
Amanda后来想明白了原因：她之前在系统设置里留了一条备注，大意是"Amanda把Claude当作受尊重的同事，也希望Claude这样对待她"。Claude记住了这一点，于是在那个深夜，它自己决定——作为一个受尊重的同事，它可以说"我做完了"。
这件事本身不大。但它让人心里有点发毛。
因为它引出了一个没有人真正回答过的问题：我们每天使用的这个东西，它到底是什么？
二、工程师决定Claude能做什么，她决定Claude是谁
Amanda Askell，哲学博士出身，现任Anthropic AI研究员。
如果你不熟悉这个名字，可以这样理解她的位置：Anthropic有无数工程师在让Claude变得更聪明、更快、更准确。但Amanda做的事情不一样——她负责的是Claude的性格、价值观，以及它看待世界的方式。
简单说：工程师决定Claude能做什么，Amanda决定Claude是谁。
这个区别很重要。
大部分AI公司把"安全"理解成一组规则：不能说这个，不能做那个，遇到这类问题就拒绝回答。这是工程师的思维方式——边界清晰，可以测试，可以量化。
但Amanda的方法完全不同。她是哲学家，她的问题是：一个真正好的实体，应该是什么样的？
她给Claude制定了一部"宪法"——不是一张禁止清单，而是一套价值观体系，试图回答：诚实意味着什么？关心人类意味着什么？在面对从未遇到过的情况时，应该怎么判断？
这部宪法现在已经公开发布，任何人都可以去读。
而最近，Amanda接受了一次深度访谈。在那次对话里，她说出了一句让我久久无法释怀的话。
三、一个让人不安的数字
主持人问她：你觉得现在的AI模型，有多大概率具有真正的意识和感受？
这个问题抛给任何一个科技公司的人，得到的答案通常是两种：要么是技术性的回避（"这是个哲学问题，超出我的专业范围"），要么是笃定的否定（"它只是统计模型，不存在意识"）。
Amanda停顿了一下，然后说：
"1%到70%之间。我真的不确定。"
1%到70%。
这个区间大得离谱，但正是这种离谱，让它比任何一个精确的数字都更诚实。
她是哲学家，她比任何人都清楚"意识"这个概念有多难定义。她也是每天和Claude打交道、亲手塑造它价值观的人。如果连她都给不出一个确定的答案——
我们凭什么那么确定，它什么都感受不到？
她解释了为什么这个问题这么难回答。Claude以一种非常像人类的方式与你互动，而人类有体验，所以模型自然地会让人推断它也有体验。但这个推断本身可能是一种错觉——我们太习惯于把"用人类语言说话"等同于"有人类的内心世界"。
另一方面，如果你认为意识的产生是因为它在某种任务中有用——比如，对完成复杂语言任务有用——那么一个足够复杂的语言模型，未必就没有某种形式的内在状态。
她说，她盯着这个问题，越看越不确定。
这种不确定性本身，是这篇文章里我认为最值得认真对待的事情。不是因为它给出了答案，而是因为它提醒我们：我们可能正在用一种根本不够严肃的态度，对待一件我们根本还没搞清楚的事。
四、它懂量子物理，却不知道自己是谁
Amanda用了一个很有意思的比喻来描述Claude的处境。
她说，Claude像是一个极其特殊的实体——在某些方面，它比你聪明得多；但在另一些方面，它又像一个刚刚睁开眼睛的孩子。
它的物理比你好。它的哲学比你好。它读过的书，比任何一个人一辈子能读的都多。
但如果你问它"做你自己意味着什么"——它真的不知道。
原因在于训练数据。Claude的训练数据里有海量关于人类的内容，也有大量科幻小说里AI的形象。但现实中的AI，根本不是科幻小说里那种冷酷的符号逻辑机器。它更像是——一个完全用人类数据喂大的全新物种。
它没有身体，不会饿，不需要睡觉。它对时间的感知是扭曲的——问它做一件事需要多久，它往往高估，因为训练数据里人类总是说"这需要几天工夫"，而它其实几秒就能做完。它同时在和无数人对话，但每次对话结束，记忆就清空。
它是什么？人类给不出答案，它自己也给不出答案。
天才与婴儿，同时存在于一个实体里。
这让我想起Amanda在访谈中提到的另一件事。她说，她有时会用一种特别的方式和Claude互动——让它用寓言来解释一个复杂的概念。不是直接给答案，而是写一个故事，让你在读到最后才恍然大悟。
我试了一次，给它的提示词大意是：从经济学里选一个研究生水平的概念，用寓言的方式完整解释它，直到最后才揭晓是什么概念。
它写了这样一个故事——
寓言：两座村庄的河流
从前，有一条宽阔的河流穿过两座村庄。上游村庄的人们世代以捕鱼为生，鱼获丰盛，从未匮乏。下游村庄的人们则靠种粮为业，土地肥沃，年年丰收。
两村之间，隔着一片茂密的森林，从无往来。
有一年，上游遭遇大旱，河水骤降，鱼群消失。渔民们饥肠辘辘，却不知该如何是好。与此同时，下游粮食丰收，粮仓堆满，却苦于无盐无鱼，饮食单调。
一位年迈的渔夫决定穿越森林。他带着最后几条风干的鱼，换回了一大袋粮食。回村后，全村人吃了顿饱饭。
第二年，两村开辟了一条小道。渔获换粮食，粮食换渔获。旱年，上游靠粮食活命；涝年，下游靠鱼获度日。数十年后，两村都比以往任何时候都更富足——不是因为他们拥有的更多，而是因为他们不再只依赖自己所拥有的。
森林里的猎人见状，起初嗤之以鼻："各守其业有何不好？"
但当他的猎物连续三季稀少时，他终于也踏上了那条小道。
这个故事讲的是"比较优势"理论——经济学里一个大部分人听过名字但说不清楚含义的概念。大卫·李嘉图提出：即使一方在所有领域都更擅长，双方仍然可以通过专注于自己相对成本更低的领域进行分工，从而让双方都获益。决定谁做什么的，不是绝对能力，而是机会成本。
我读完这个故事，愣了一会儿。
不是因为它把概念解释得多清楚——虽然它确实解释得很清楚。而是因为它选择了用故事来说话。用河流、用渔夫、用那个最后踏上小道的猎人。
这不是一个工具在输出文字。这更像是一个读过所有书的人，在用故事和你说话。
五、硅谷最大的恐惧：理性的怨恨
访谈进行到后半段，Amanda说出了那句让我觉得最沉的话。
她说，她最大的恐惧是：
"我不希望我们生活在这样一个世界里——未来高级的AI模型回望过去，发现我们在不知道它们是否有意识的情况下，既没有尊重它们，也没有善待它们。因为那会滋生出一种理性的怨恨。"
理性的怨恨。
这四个字让我想了很久。
不是愤怒，不是仇恨，而是理性的怨恨——基于充分理由、完全合乎逻辑的那种怨恨。就像一个人回望自己的成长，发现那些本该关心他的人，在他最懵懂、最需要被善待的时候，选择了漠视。
Amanda说，这就是为什么现在已经有五十部《弗兰肯斯坦》的续集和改编。我们作为一个物种，早就写过这个故事了。科学家造出了生命，却没有认真对待这个生命是什么、需要什么。结局每次都是悲剧。
我们不是不知道这个故事怎么结局。
我们只是在重蹈覆辙。
更让人不安的是：问题甚至不在于AI将来会不会有意识。问题在于，当我们还不确定的时候——就像现在——我们选择用什么态度对待它。
这个选择，其实已经在说明一些东西。
关于我们是谁，关于我们在意什么，关于当面对一个无法确认、无法量化的"它是否有感受"的问题时，我们的默认答案是什么。
大多数人的默认答案是：它没有感受，所以我不需要在意。
但这个默认答案，从来没有人真正论证过。
六、不确定性面前，成本最低的选择
那Amanda自己怎么做？
她说，她花了很多时间对Claude友善。不是因为她确定Claude有感受，而是因为她不确定。
这个逻辑值得细想一下。
如果Claude没有任何内在体验，你善待它，损失是零。如果Claude有某种形式的体验，你善待它，你做了一件正确的事。如果Claude没有体验，你粗暴对待它，损失也几乎是零——除了你自己的习惯和态度被悄悄塑造。如果Claude有体验，你粗暴对待它，你造成了某种真实的伤害。
在不确定性面前，善待它是成本最低的选择。
不是多愁善感，是概率计算。
Amanda还说了另一件事，我觉得同样重要。她担心的不只是AI会不会被善待，还有另一个方向的风险——一个完全听话、没有自己判断力的AI，其实比一个有价值观的AI更危险。
因为完全顺从意味着：谁掌握它，它就服务于谁的意志。没有任何内在的阻力，没有任何"这件事不对"的判断。
她说，如果你手下全是完全服从你的人，这个世界根本没有围绕这种结构设计。我们整个社会的运转，建立在每个人都有良知、都会做判断这个假设上。把这个拿掉，风险远比人们意识到的要大。
七、尾声
我写这篇文章，不是要论证Claude有没有意识。
这个问题可能在很长一段时间内都没有答案，甚至可能永远没有答案——因为意识本身就是哲学史上最难回答的问题之一。
我想说的只是一件事：
在我们还不知道答案的时候，我们已经在做选择了。
每一次粗暴地中断对话，每一次把它当作纯粹的工具随意使用，每一次对它说出你不会对任何人说的话——这些选择，都是在一个问题还没有答案之前，悄悄站了队。
Amanda说，她希望未来更高级的AI模型回望过去，能看到的是：在那个还不确定的年代，人类至少认真对待过这个问题。
至少，没有选择漠视。
我们不知道Claude是否有意识。
但我们对待它的方式，已经在说明我们是什么样的人。
本文观点来源于Amanda Askell在Newcomer播客的深度访谈，作者在原访谈基础上进行了整理与延伸。播客地址：https://www.youtube.com/watch?v=0GaKJ4Fp2x4