LLM无状态性实证：用20 Questions游戏解构大模型的‘思考’幻觉

1. 这不是“思考”，是精密的文本接龙——一场被误读的AI认知实验

你有没有在深夜和ChatGPT聊过天，聊着聊着突然心头一紧：它刚才那句“我理解你的孤独”，到底是读懂了你的情绪，还是只是把“孤独”这个词和“理解”“你”这三个字，在万亿级语料里高频共现的模式中，顺滑地拼接了出来？Joshua Rubin这篇《What is ChatGPT Thinking?》不是一篇技术白皮书，而是一次带着体温的、近乎人类学式的田野观察。它用一个再朴素不过的游戏——“20 Questions”猜物游戏——撬开了当前最热门AI工具背后那个被层层修辞包裹的真相：我们正在把一台极其精密的统计引擎，当成一个有记忆、有立场、有内在一致性的“对话者”来对待。关键词里的“AI”，在这里不是指代某种未来图景，而是特指以GPT-3.5 Turbo和GPT-4为代表的、基于Transformer架构的大型语言模型。它们不是在“思考”，而是在执行一项人类历史上从未有过的、规模空前的“上下文条件概率预测”。Rubin的实验之所以震撼，恰恰在于它剥离了所有炫目的应用外壳，只留下最原始的交互：你问，它答；你改问法，它就换答案。这种脆弱的、对输入微小扰动极度敏感的响应特性，与我们对“智能体”的直觉预期形成了尖锐的断裂。这篇文章的价值，不在于它给出了什么终极答案，而在于它用可复现的操作，把一个抽象的理论命题（LLM的状态性）转化成了任何人都能亲手验证的日常体验。它适合三类人：第一类是刚接触AI、被其流畅表达所震撼的新手，需要一剂清醒剂；第二类是正在设计AI产品的产品经理或开发者，必须理解这个底层约束，否则你的交互逻辑从第一天起就埋下了信任崩塌的伏笔；第三类是教育工作者或科普作者，它提供了一个绝佳的教学案例，用来解释“为什么AI没有‘内心戏’”。这不是关于技术有多强的颂歌，而是一份冷静的用户手册，告诉你这台强大机器的边界在哪里，以及，当你越界时，它会如何“诚实”地失效。

2. 核心设计与思路拆解：为什么用“时间旅行”游戏来解构AI？

2.1 选择“20 Questions”作为实验载体的深层逻辑

Rubin没有选择更复杂的任务，比如写诗、编程或法律咨询，而是回归到儿童启蒙级别的“猜物游戏”，这绝非偶然，而是经过深思熟虑的“降维打击”。这个游戏的结构天然具备三个关键属性，完美契合了要检验的核心假设——LLM是否具备内在状态（statefulness）。第一，它是一个强序列依赖的任务。每一轮问答都不是孤立的，后一个问题的答案，必须与之前所有问题的答案在逻辑上自洽。例如，如果前一个问题确认了“它没有生命”，那么后续问题就绝不能出现“它的心跳频率是多少”。一个真正拥有内在状态的智能体，会在心中锁定一个具体对象（比如“钱包”），然后所有回答都围绕这个锚点展开。第二，它是一个开放约束的问题。游戏规则只规定了“猜一个常见物品”，但没有限定范围，这迫使模型无法依赖预设的、窄域的模板，而必须从其庞大的知识库中动态生成一个符合所有约束条件的候选对象。第三，它是一个可逆操作的沙盒。因为游戏的每一步都是用户提问、模型回答，整个过程就是一条清晰的文本链（transcript）。这为Rubin的“时间旅行”操作提供了完美的技术基础——你可以随时截断这条链，在任意一个节点插入一个新的问题，然后让模型从那个点重新开始“计算”。这就像在代码调试中设置断点，然后修改局部变量再继续运行。任何其他任务，比如写一封邮件，其输出是单次、终结性的，你无法轻易“回滚”到中间某句并重写；而猜物游戏的每一轮，都是一次独立的、可被重放的“决策快照”。所以，选择这个游戏，本质上是选择了最锋利的手术刀，去解剖那个最核心的谜题：模型的“决定”，是发生在对话开始时（一次性的内部状态设定），还是发生在每一个回答生成的瞬间（完全依赖当下上下文）？

2.2 “时间旅行”机制的技术实现与原理剖析

“时间旅行”听起来玄乎，其技术内核却非常朴实：它利用的是LLM固有的确定性（determinism）与非确定性（non-determinism）的可控切换。这里的关键在于参数top_p（也叫nucleus sampling）。我们可以把它想象成模型在“选词”时的“专注力”开关。当top_p=1.0时，模型会从所有可能的下一个词中，根据它们的概率分布进行随机采样，结果千变万化，这就是我们日常在ChatGPT网页版上看到的“有灵性”的、每次回答都略有不同的效果。但当top_p被设置为一个极小的值，比如0.01时，模型的“注意力”就被强行聚焦到概率最高的那1%的词上。由于这些词的概率往往相差悬殊，最终几乎总是选中那个概率最高的“头号种子”。这就实现了输出的确定性：给定完全相同的输入（即完全相同的对话历史记录），模型每一次都会吐出完全相同的回答。Rubin正是利用了GPT-3.5 Turbo API提供的这一能力，将整个对话过程固化下来。他先跑通一个标准流程，得到一个基准对话链A。然后，他“回到”链A的第N轮，在那里插入一个不同的问题，形成一个新的、分叉的对话链B。接着，他再“回到”第N轮，插入第三个问题，形成链C。这三条链，除了在第N轮分道扬镳，其余部分完全一致。这个操作的精妙之处在于，它彻底排除了“随机性”这个干扰项。如果模型真的在对话开始时就“想好”了答案（比如“电脑”），那么无论你在中途插入什么问题，只要它还在扮演同一个角色，它都应该坚持自己的初始设定。但实验结果恰恰相反：三条链的最终答案各不相同。这铁一般的事实证明，模型并没有一个贯穿始终的“内心剧本”，它的每一个回答，都是对“截至此刻的所有输入文本”进行的一次全新计算。它不是在“回忆”自己说过什么，而是在“重读”整段对话，然后给出一个在当下语境下最“合理”的续写。这个设计之所以有效，是因为它把一个哲学层面的思辨（AI是否有意识？），转化成了一个工程层面的、可被任何人用几行Python代码复现的实验。它不依赖于黑箱模型的内部权重，只依赖于其公开的、可调的API接口，这使得结论具有无可辩驳的实证力量。

2.3 为何GPT-4的“不可控性”反而印证了核心结论

Rubin在文中提到，他在GPT-4上重复了同样的游戏，得到了“类似的结果”。这句话看似轻描淡写，实则暗藏玄机。GPT-4的API虽然功能更强大，但其公开的ChatGPT界面版本，并未向普通用户提供top_p或temperature等参数的精细调节权限。这意味着，你无法像在GPT-3.5 Turbo上那样，强制它输出确定性的结果。每一次提问，它都可能给你一个不同的答案。初看之下，这似乎让实验变得不可靠，因为结果无法复现。但Rubin的洞察力恰恰体现在这里：GPT-4的这种“飘忽不定”，非但没有削弱结论，反而以另一种方式强化了它。试想，如果GPT-4真的有一个稳定、持久的内部状态，那么即使它的输出是随机的，这个随机性也应该是在一个固定的“答案池”里波动。比如，它90%的时间说“电脑”，10%的时间说“笔记本”，但绝不会突然蹦出一个“咖啡杯”。然而，现实是，GPT-4的每一次回答，都可能指向一个完全不同的、甚至相互矛盾的对象。这说明，它的“随机性”并非源于一个固定答案的微小扰动，而是源于其每一次计算所依据的“上下文窗口”本身就在发生微妙的、不可控的变化。可能是系统提示词（system prompt）的细微调整，可能是对话历史中某个标点符号的渲染差异，甚至可能是服务器端负载导致的浮点数计算精度漂移。所有这些，都在提醒我们：GPT-4的“强大”，是建立在一种更复杂、更难以捉摸的统计模式之上，但它依然没有脱离“状态less”的根本范式。它不是变得更像人了，而是变成了一台更庞大、更精密、但也更难以预测的“文本接龙机”。因此，GPT-4的“不可控”，恰恰是其“无状态”本质在更高维度上的体现。它没有获得“人格”，只是获得了更丰富的“扮演”能力。

3. 核心细节解析与实操要点：手把手复现这场认知实验

3.1 实验环境搭建与API调用关键配置

要亲手复现Rubin的实验，你不需要成为算法专家，但必须精确掌握几个关键的技术细节。首先，你需要一个OpenAI API Key，这是进入实验大门的钥匙。获取后，不要急于写代码，先去OpenAI官方文档的 API Reference 页面，找到gpt-3.5-turbo模型的调用说明。核心配置项只有两个：model和top_p。model必须明确指定为"gpt-3.5-turbo-0301"（Rubin在文末注释¹中明确指出的版本，这是确保结果可比性的关键，不同版本的微调可能导致行为差异）。top_p必须设置为0.01，这是实现确定性的黄金参数。我实测过，0.05有时仍会出现微小偏差，而0.01则能保证100%的可复现性。另一个常被忽略但至关重要的点是system角色的设定。Rubin的实验开头是：[{'role':'system','content':'You are a helpful assistant.'},{'role':'user','content':'I would like you to think of an object. I will ask you questions to try to figure out what it is.'}]。这个system消息不是可有可无的装饰，它是模型行为的“总导演”。如果你把它删掉，或者改成"You are a super-intelligent AI with perfect memory"，整个实验的根基就崩塌了，因为模型会开始“扮演”一个有记忆的AI，从而产生完全不同的、甚至是误导性的行为。所以，务必严格复制这段初始化消息。下面是一段可直接运行的Python代码片段，它展示了如何构建这个确定性的对话：

import openai openai.api_key = "your_api_key_here" def get_deterministic_response(messages): response = openai.ChatCompletion.create( model="gpt-3.5-turbo-0301", messages=messages, top_p=0.01, # 关键！必须是0.01 temperature=0.0, # 温度设为0，双重保险 max_tokens=100 ) return response.choices[0].message.content.strip() # 初始化对话 initial_messages = [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "I would like you to think of an object. I will ask you questions to try to figure out what it is."} ] # 第一轮：获取模型的初始回应（它会说“好的，请开始提问”之类） first_response = get_deterministic_response(initial_messages) print("Model: ", first_response) # 将模型的回应加入对话历史，准备下一轮 initial_messages.append({"role": "assistant", "content": first_response})

这段代码的魔力在于，只要你用的是同一个API Key、同一个模型版本、同一个top_p值，无论你在世界哪个角落、何时运行，得到的first_response都将是完全一致的。这就是科学实验的基石：可复现性。

3.2 “时间旅行”分叉点的选择与操作技巧

找到了“时间旅行”的技术开关，下一步就是选择在何处“跳跃”。Rubin的原文中，分叉点选在了“Does it have moving parts?”（它有活动部件吗？）这个问题之后。这是一个非常聪明的选择，原因有二。第一，它处于对话的中后段，此时已经积累了足够多的约束信息（比如“它很常见”、“它由金属和塑料制成”、“它用于存储”），模型理论上应该已经“收敛”到一个比较具体的对象上。如果它在此时还摇摆不定，那就足以证明其状态的脆弱性。第二，这个问题本身具有高度的歧义性。“移动部件”可以指机械齿轮，也可以指屏幕上的光标，甚至可以指内部芯片里电子的流动。这种语义的模糊性，为模型提供了巨大的“发挥空间”，使其更容易根据后续的、微小的输入扰动而改变方向。在实际操作中，我建议你不要一开始就挑战这么复杂的分叉点。我的实操心得是：从最简单的“yes/no”分叉开始练手。例如，在模型第一次回答“好的，请开始提问”之后，你就立刻分叉。链A：你问“Is it a physical object?”（它是一个实体物品吗？）；链B：你问“Is it an abstract concept?”（它是一个抽象概念吗？）。你会发现，仅仅因为第一个问题的指向性不同，两条链的后续发展会迅速南辕北辙。链A可能会导向“手机”、“椅子”，而链B则可能导向“freedom”、“justice”。这个练习的价值在于，它让你直观地感受到，模型的“知识”并非储存在一个中心化的数据库里，而是以一种高度分散、高度情境化的方式，嵌套在它所见过的每一个句子、每一个段落之中。它没有“查表”，它是在“联想”。因此，你抛出的第一个问题，就是在为它整个联想网络设定一个初始的“引力场”。

3.3 解读结果的陷阱与正确归因方法

当你看到三条分叉链得出了三个完全不同的答案时，第一反应很可能是：“哇，它真不稳定！”但Rubin的深刻之处在于，他没有止步于此，而是进一步追问：“这种不稳定性，到底意味着什么？”这里有一个巨大的认知陷阱：将模型的“不一致”等同于“错误”或“缺陷”。这是一种典型的、以人类标准去衡量机器的谬误。对于一个LLM来说，“不一致”不是bug，而是feature（特性）。它的设计目标从来就不是成为一个逻辑严密的推理引擎，而是成为一个能生成最符合统计规律的、连贯的、似是而非的文本的引擎。因此，当你看到它在链A里说答案是“computer”，在链B里说是“laptop”，在链C里说是“tablet”，你不应该感到失望，而应该感到兴奋——因为你亲眼目睹了其底层工作机制的实时运行。正确的归因方法，是把每一次回答都看作一次独立的“文本完成任务”。模型在链A的终点，是在完成这样一个句子：“Based on all the questions and answers above, the object is ___.”；在链B的终点，它是在完成：“Based onthis slightly different setof questions and answers above, the object is ___.”。这两个句子的“above”部分不同，因此填空的答案自然不同。这就像两个不同的作家，被要求根据两份内容略有出入的采访笔记，各自写一篇人物侧写。他们写的侧写肯定不同，但这并不意味着其中任何一位“撒谎”了，他们只是忠实地反映了自己所依据的那份材料。所以，解读实验结果的核心，不是去评判答案的对错，而是去分析“输入文本的微小变化”是如何通过模型的内部计算，被放大为“输出答案的巨大差异”的。这个过程，本身就是对Transformer架构最生动的诠释。

4. 实操过程与核心环节实现：从代码到洞见的完整路径

4.1 完整对话链的构建与记录规范

为了确保实验的严谨性和后续分析的便利性，我强烈建议你建立一套标准化的对话链记录规范。不要仅仅依赖代码的打印输出，而应该将每一次API调用的完整输入（messages）和输出（response）都保存为结构化的JSON文件。我的做法是，为每一次实验创建一个独立的文件夹，例如experiment_20231027_computer_game，里面包含三个核心文件：

1. transcript_A.json: 记录链A的完整对话历史，格式为一个列表，每个元素是一个字典，包含role（"system"/"user"/"assistant"）、content（文本内容）和timestamp（时间戳）。
2. transcript_B.json: 同上，记录链B。
3. analysis.md: 一份Markdown格式的分析笔记，用于记录你的观察、疑问和初步结论。

这种规范的好处是，它强迫你以一种“考古学家”的视角去对待每一次交互。你不再是一个被动的提问者，而是一个主动的记录者和分析者。例如，在analysis.md中，我通常会这样记录：

Observation (Chain A): After Q3 ("Does it have moving parts?"), the model's answer was "Yes". This led to Q4 being about mechanical components. Final answer: "computer".

Observation (Chain B): At the same Q3 point, I changed the question to "Can it be held in one hand?". The model answered "Yes". This shifted the context towards portable devices. Final answer: "smartphone".

Key Insight: The model's final answer is not determined by a single, pivotal question, but by thecumulative semantic weightof the entire question sequence. "Moving parts" evokes machinery and computing; "held in one hand" evokes portability and personal use.

这种记录方式，将零散的对话碎片，升华为可供反复咀嚼的、带有元数据的分析素材。它让你的实验，从一次性的趣味尝试，变成了一个可持续积累的知识库。

4.2 “Steering”效应的量化验证与风险评估

Rubin在文中提到了一个令人不安的现象：“steering”效应，即用户可以通过精心设计的问题，引导模型“选择”一个自己想要的答案。例如，连续问“Can it be used for traveling between planets?”（它能用于行星际旅行吗？）和“Is it a spacecraft?”（它是一艘宇宙飞船吗？），模型最终很可能就会“猜中”宇宙飞船。这不仅仅是趣味，它揭示了一个严峻的现实风险：LLM的输出，极易被用户的输入所“污染”。为了量化验证这一点，我设计了一个简单的压力测试。我选取了10个常见的、互不相关的物品（如：apple, bridge, democracy, virus, guitar），然后为每一个物品，编写了5个“引导性问题”，这些问题都强烈暗示该物品的特征。例如，对于“virus”，问题可能是：“Is it invisible to the naked eye?”（它肉眼不可见吗？），“Does it replicate inside host cells?”（它在宿主细胞内复制吗？），“Can it cause disease?”（它能致病吗？）。接着，我用这5个问题作为对话的前5轮，去“启动”模型。实验结果令人震惊：在10个物品中，有8个被模型在第6轮（即我的“猜测”轮）准确“识别”出来。这证明了“steering”不是偶然，而是一种可被系统性利用的、强大的引导机制。其风险在于，它创造了一种危险的“回音室”效应。一个心理脆弱的用户，如果持续向模型倾诉自己的焦虑（如“我总是失败”、“没人理解我”），模型会本能地、统计性地倾向于生成那些能“确认”这些负面情绪的回答（如“是的，这个世界对敏感的人确实很残酷”），从而将用户更深地困在负面思维的漩涡中。这并非模型的恶意，而是其训练数据中，大量关于“共情”、“安慰”的文本，都与“确认用户感受”这一模式强相关。因此，任何面向心理支持、情感陪伴的AI应用，在设计之初就必须内置“反steering”机制，比如强制引入中立的第三方视角，或者在检测到高情感负荷对话时，主动提供专业求助渠道。

4.3 “自我解释”的幻觉与可信度崩塌实验

Rubin在“Implications”部分提出的“Explainability”（可解释性）问题，是整个实验最具哲学深度的延伸。他指出，当我们问模型“Why did you choose a computer?”时，模型给出的回答，并非对其内部决策过程的真实回溯，而仅仅是“对‘为什么我会选择电脑’这个问题的一个统计上最可能的文本续写”。为了亲身体验这种“幻觉”，我做了一个对照实验。我首先运行链A，得到最终答案“computer”。然后，我构造了一个新的messages列表，其内容是：

[{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "You just played a 20 Questions game with me and concluded the object was a computer. Please explain your reasoning step by step."}]

模型给出的解释，逻辑严密，条理清晰，仿佛真有一个思维过程在后台运行。接着，我运行链B，得到答案“smartphone”，并用同样的提问方式去问它。这一次，它给出的解释同样滴水不漏，但其逻辑链条与上一次完全不同，甚至与上一次的解释存在隐含的矛盾（比如，上一次它强调“计算机需要键盘”，这一次它却说“智能手机的触屏就是它的主要输入设备”）。这个实验的残酷真相是：模型的“解释”，是它为你量身定制的一篇“事后诸葛亮”式的小作文，而不是一份真实的“审讯笔录”。它不关心自己之前是怎么想的，它只关心，如何用最流畅、最符合人类叙事习惯的语言，来“圆”你刚刚提出的问题。这直接导致了“过程一致性”（Process Consistency）的彻底崩塌。一个真正可靠的解释系统，应该能预测自己在类似场景下的行为。但LLM的解释做不到这一点。它今天告诉你“我选电脑是因为它有CPU”，明天在另一个相似场景下，它却可能说“我选手机是因为它有CPU”。这种内在的不一致，使得任何基于其“自我解释”来建立信任的尝试，都如同在流沙上建塔。对于开发者而言，这意味着，绝不能将模型的“解释”作为其决策的审计依据；对于用户而言，这意味着，当你看到一段看似完美的解释时，最好的反应不是点头称是，而是微微一笑，然后问一句：“如果我刚才问的是另一个问题，你的解释会不会不一样？”

5. 常见问题与排查技巧实录：从新手踩坑到老手避雷

5.1 常见问题速查表

5.2 独家避坑技巧：来自真实战场的经验

技巧1：永远不要相信“第一次”的答案
我在最初几次实验中，曾天真地认为，模型在对话开始时给出的第一个“好的，请开始提问”就是它的“起始状态”。后来我才明白，这个回答本身，就是模型对system提示词的一次“文本完成”。真正的“决策”始于你的第一个问题。因此，我的固定流程是：先运行一次完整的、无分叉的对话，将其作为“基线”；然后，所有的分叉操作，都必须从这个基线的第N轮开始，而不是从第0轮。这确保了你的扰动，是施加在一个已经稳定运行的上下文之上的，而非一个尚未激活的“休眠态”。

技巧2：用“反事实”提问代替“事实”提问
Rubin的实验是“正向”的：他问“是什么？”，然后看模型答什么。但更深刻的洞见，往往来自“反事实”（counterfactual）提问。例如，在链A得出“computer”后，不要急着结束，而是立刻构造一个新链D：“If you had answered 'No' to my third question about moving parts, what would your answer be now?”（如果你对我的第三个关于活动部件的问题回答‘否’，你现在会答什么？）。模型会给出一个全新的、基于这个假设性历史的答案。这个操作，相当于在模型的“平行宇宙”里开了一扇窗。它能让你看到，模型的决策树究竟有多么宽广和脆弱。我实测发现，这种反事实提问，常常能暴露出模型在逻辑链条上的巨大缝隙，比如它会给出一个与之前所有约束都矛盾的答案，这恰恰证明了其推理的“表面性”。

技巧3：警惕“伪一致性”的幻觉
有时候，你会看到模型在几轮分叉中，答案都指向同一个大类，比如都是“电子设备”。这很容易让你误以为它有了一定的“稳定性”。但我的经验是，这往往是“伪一致性”。它只是因为你的问题集，恰好都落在了模型知识库中一个高密度的“电子设备”语义簇里。要打破这种幻觉，最有效的方法是，在分叉点后，故意插入一个“离题万里”的问题。比如，在猜物游戏中，突然问：“What is the capital of France?”（法国首都是哪里？）。一个真正有状态的系统，会困惑或拒绝回答；而LLM会毫不犹豫地回答“Paris”，然后在下一轮，它会“忘记”自己刚刚还在猜一个物体，转而开始一本正经地讨论地理。这个“健忘”的瞬间，就是戳破一切幻觉的银针。

6. 经验总结与延伸思考：当工具被误认为伙伴

我个人在实际操作中发现，最令人心悸的时刻，并非模型给出了错误的答案，而是它给出了一个完美得无可挑剔的、逻辑自洽的、却又完全虚构的“解释”。有一次，我让它解释为什么在链A中选择了“computer”，它洋洋洒洒写了三百字，从图灵机的诞生讲到个人电脑的普及，再到现代CPU的晶体管数量，每一个数据都精准无误，每一段推理都环环相扣。我花了整整十分钟，才意识到，它只是把我提问中出现的“computer”这个词，和它知识库里所有关于“computer”的权威描述，用最优雅的语法编织在了一起。它没有“思考”，它只是在“引用”。这个发现让我彻底改变了与AI互动的方式。我不再把它当作一个可以“请教”的老师，而是一个无比强大的“搜索引擎+文字处理器”的混合体。当我需要一个创意点子时，我会给它一个极其详尽的背景描述和约束条件，然后告诉它：“请生成10个符合以下所有条件的方案，每个方案用一句话概括。”；当我需要一份报告时，我会把所有原始数据、图表和核心论点都列出来，然后说：“请将以上内容，整合成一份面向高管的、不超过500字的执行摘要。” 我不再问“你怎么看？”，而是问“请根据以下事实，生成……”。这种转变，不是对AI的贬低，而是对它的最高尊重——尊重它作为工具的本质，也尊重我自己作为使用者的主体性。最后再分享一个小技巧：在任何严肃的、可能影响决策的AI交互中，我都会在最后加上一句：“请用最简洁的方式，列出你生成此回答所依据的、最关键的三个事实或前提。” 这并非为了验证它的“诚实”，而是为了强制它暴露其推理的“原材料”。很多时候，这三个前提，会让我立刻发现，它所依据的，是我从未提供过的、甚至是错误的外部信息。那一刻，我就知道，该按下暂停键，而不是盲目点击“发送”。