挖掘LLM深层知识：通过侧向提问激发模型未知的已知模式
1. 项目概述：一场关于AI“未知已知”的哲学与技术对话
今天下午，我花了几个小时和Claude进行了一场哲学对话，探讨一个萦绕在我心头已久的问题。我想分享的并非答案——事实上，我也没有确切的答案——而是我认为这个问题本身值得深入探究。核心在于：我们如何向一个大型语言模型（LLM）提出它自己都不知道自己已经知道答案的问题？
大型语言模型在近乎不可理解的海量人类文本上进行了训练：科学论文、论坛争论、项目复盘、古代哲学、技术文档，乃至凌晨两点的Reddit帖子。所有这些都被压缩成数十亿个参数，构成了一张关于人类知识与语言如何连接的统计地图。但让我困扰的是，我们总是用我们已经知道如何提问的问题去查询这张地图。当你向LLM提问时，它会生成一个答案。然而，生成这个答案的过程所激活的“神经元”或关联，远多于最终呈现在你眼前的文本。那些与答案相邻的概念、结构关系、跨领域的模式，它们塑造了回答，却从未在输出中显形。你的问题的答案，只是被激活内容的一部分。而紧挨着答案的东西，可能比答案本身更有趣。大多数人从未触及这些，不是因为模型无法抵达，而是因为根本没人问过。
这引出了一个更根本的探索：我们能否通过一种特定的提问方法，触及那些在训练数据聚合中涌现、却从未在任何单一来源中被明确表述的深层结构性知识？这不是在问模型检索已知事实，也不是在激发其创造力，而是在尝试挖掘其参数空间中编码的、人类个体可能从未清晰表达过的跨域模式。
2. 核心思路：从“深入挖掘”到“横向跳跃”的提问范式
传统的LLM交互模式，无论是事实查询、代码生成还是创意写作，本质上都是一种“纵向挖掘”。用户在一个明确的领域或问题框架内提问，模型在其训练数据的分布中寻找最可能的响应序列。这种方法高效、实用，但它受限于我们提问的视角和领域边界。
我提出的方法，可以称之为“横向跳跃”或“侧向提问”。其核心思想不是在一个领域内问得更深、更聪明，而是从完全不同的、甚至看似不相关的领域，去问一个结构上相似的问题。目的是利用LLM在训练中建立的、连接一切文本的庞大关联网络，迫使那些深层的、跨域的结构性模式浮出水面。
2.1 一个实验：挖掘程序员的“默会知识”
为了测试这个想法，我设计了一个结构化的提示词：“经验丰富的程序员会默默修正哪些事情，而这些事情他们从未需要明确表达，因为他们共事的人也都知道——因此，这些东西从未被写下来过？”
Claude给出的回答非常有趣，它列举了一系列“默会知识”：
- 执行模型的心智模拟：在运行代码前，脑海中已经对内存、状态变化、并发可能产生的影响有了清晰的预演。
- 命名漂移的直觉：随着项目演进，同一个变量或函数名的实际含义会发生微妙变化，老手能自动追踪这种漂移，而文档永远滞后。
- 技术债的直觉性定价：能瞬间评估一段“丑陋但能用”的代码在未来需要偿还的代价，这个判断基于大量痛苦经验，难以量化成规则。
- 阅读代码的“未言之意”：不仅能看懂代码做了什么，更能感知它试图避免什么、哪些边界情况被刻意忽略或遗忘。
这些描述精准地击中了许多资深开发者的心照不宣的经验。但这只是第一步。真正的“横向跳跃”发生在下一个问题。
2.2 侧向关联：从编程到普遍认知结构
我没有继续深挖编程领域的细节，而是问了一个侧向问题：“将这些模式与编程领域之外的某个事物进行关联。”
得到的回复并非简单的类比（比如“这就像木匠的直觉”）。一个更根本的现象发生了：所有列举的程序员默会知识模式，都溶解并汇聚到了同一个底层结构——同时在一个事物的表层和底层进行操作的能力。
编程中的具体例子（心智模拟、命名追踪、债务评估）不再是重点，它们仅仅是这个更根本认知结构的一个实例。这个结构从未在任何编程手册中被直接陈述，但它却是所有这些默会技能的共同基石。这种领域壁垒的坍塌——特定领域的知识突然揭示出一个更深层的模式——正是我所追寻的。关键的是，这个深层模式的发现，并非源于对编程提出更聪明的问题，而是源于从编程领域之外发起提问。
3. 方法论：识别“涌现知识”的信号与提问技巧
如何系统性地进行这种“横向提问”，并识别我们是否接近了模型内部某种“未知的已知”？通过多次实验，我观察到几个关键的信号标记：
3.1 核心识别信号
收敛当你从完全不相干的角度（例如，先问编程的默会知识，再问爵士乐即兴创作的默会规则，最后问急诊医生的快速决策模式）提问，得到的答案开始指向同一个核心概念或结构，而你的提示词并未要求它们这么做。这种未经引导的、自发的指向一致性，是深层模式存在的强烈信号。
构建感 vs. 检索感仔细品味模型的回答。有些答案流畅、标准，带有明显的“教科书”或“常见问答”痕迹，这很可能是对训练数据中高频模式的直接检索。而另一些答案则显得更费力、更具原创性，仿佛模型正在某种约束压力下“构建”一个回应。这种“构建感”通常伴随着更独特的措辞和逻辑链条，可能意味着模型正在组合不同路径的知识来应对一个非常规问题。
阻力当一个问题难以回答，并非因为其复杂（比如解释量子纠缠），而是因为它似乎指向一个尚未被现有语言充分描述或命名的概念。模型的回答可能会显得犹豫、迂回、使用大量隐喻或近似描述。这种“语言摩擦力”本身就是一个信号，表明你正在触及认知的边缘。
领域壁垒坍塌这是最明显的信号。回答的内容逐渐脱离了原始问题的具体领域语境，开始讨论更抽象、更根本的原则、模式或元认知技能。就像我的实验，从“程序员怎么做”跳到了“人类如何处理多层信息”。
3.2 实用的侧向提问技巧
基于以上信号，可以总结出一些具体的提问策略：
- 从具体到抽象：先让模型描述一个特定领域内的隐性知识或高阶模式，然后要求它“提取这个描述背后的元规则或底层认知框架”。
- 强制跨域映射：给出A领域的一个复杂概念，要求模型在B领域（越不相关越好）找到一个功能或结构上等价的概念，并解释其等价性基础。
- 逆向提问：不问“是什么”，而是问“什么情况下这个知识会失效？”或“一个完全不具备这种隐性知识的人，会犯哪些特定错误？”通过描述缺失的状态，反推该知识的结构。
- 寻找“负空间”：询问“关于[X]，有哪些重要的方面是几乎从未被讨论或写下来的？”这直接针对训练数据中的空白或边缘信息。
注意：这些提问的成功率高度依赖于模型的能力。较小的或训练数据范围较窄的模型可能无法进行有效的深度关联。Claude、GPT-4等前沿模型在此类任务上表现更为出色。
4. 人机协同：为何人类是不可或缺的“扰动因子”
在实验过程中，我很快触及了一个天花板：AI无法完全“自我惊喜”。当我请Claude自己生成一些能解锁此类“涌现知识”的提示词时，它使用的仍然是那套用于回答问题的权重和模式。这就像是让造锁的同一只手去写钥匙，存在固有的局限性。
模型缺乏真正的“意图”和“直觉性跳跃”。它可以根据模式生成看似侧向的问题，但其生成过程仍然受限于其训练分布。而人类提问者引入的，是一种模型无法完全预测的“扰动”：基于直觉的联想、基于挫败感的重新表述、基于跨领域经验的“神来一笔”的跳跃。这种不可预测性不是提问中的缺陷，而是整个机制的核心驱动力。
一个高效的人机协同循环大致如下：
- 模型生成：针对一个初始问题，模型给出一个结构化的答案。
- 人类感知：人类提问者从答案中感知到，他们真正追寻的东西似乎就在已说出内容的“左侧”或“旁边”，若隐若现。
- 人类侧向提问：提问者不直接索求那个模糊的东西（因为无法清晰定义），而是提出一个能迫使模型从不同角度切入的新问题。这个问题往往基于直觉类比或领域跳跃。
- 迭代与结晶：重复步骤1-3。有价值的结构性知识会在从多个方向多次“照射”的过程中逐渐清晰、结晶。
在这个循环中，人类扮演着“直觉导航员”和“模式敏感探测器”的角色，而模型则提供了几乎无限的关联记忆和组合能力。两者的结合，才有可能探索那片既非单纯数据检索、也非随机生成的“未知已知”之地。
5. 与现有研究领域的对照：从ELK安全研究到知识发掘
当我带着这个想法去查阅文献时，发现它与一个名为**“激发潜在知识”（Eliciting Latent Knowledge, ELK）**的活跃研究领域有所映射。ELK主要关注AI安全，核心问题是：如何确保当一个AI模型“知道”某个事实（在其内部表示中为真）时，即使在被诱导或出于其他原因的情况下，也能在输出中如实陈述？研究人员通过分析模型内部激活值、使用Logit透镜、稀疏自编码器等技术，“撬开”模型的权重，直接读取其中编码的真相表示。他们已经证明，模型对真相的内部表征，可能比其实际输出更准确。
然而，我探索的角度与ELK的侧重点有本质不同：
- ELK的目标：是检测模型是否隐瞒其已知为假的信息（即是否“说谎”），是一个对齐与安全问题。
- 我的探索目标：是发掘模型是否编码了无人想过要问的跨域模式，并且这些模式能否仅通过对话界面（而非侵入式内部探测）被触及。这是一个关于知识发现与认知拓展的问题。
目前看来，这个“通过对话表面探索聚合性涌现结构”的具体方向，在学术界似乎还是一个相对未被系统探索的领域。大多数提示工程研究集中于提高任务性能、减少幻觉或激发创造力，而非系统性地挖掘这种“结构性未知已知”。
6. 基础设施视角：开放性与规模化的双重优势
这部分探索最让我个人兴奋的一点，与我自己的工作环境有关。我运营着自己的AI基础设施——在自有硬件上部署开源模型。这给了我大多数人所没有的东西：对模型内部的根访问权限。
这意味着我可以：
- 查询激活状态：在提出一个“侧向问题”时，观察网络中每一层的神经元是如何被激活的。
- 追踪梯度标记：精确测量那些指示“构建感”或“阻力”的信号在何时何地出现。
- 进行受控实验：对比同一个深层模式被不同侧向问题触发时，内部表征的相似性与差异性。
这是一种开放性带来的优势：深度、透明的可观测性。
另一方面，像Anthropic、OpenAI这样的前沿实验室拥有规模化的优势。他们能看到数百万计的用户与顶级模型的对话，能够在大规模上观察哪些问题结构能可靠地触发“构建”而非“检索”，哪些领域的交叉能持续坍塌为深层模式，哪些提示会产生表明“此物尚无语言”的摩擦信号。
目前的情况是，一方拥有规模但缺乏完全开放，另一方拥有开放但缺乏规模。要完整绘制这幅关于“未知已知”的地图，可能需要两者的结合：规模化研究揭示普遍规律和可靠方法，而开放、深度的个体研究则能提供机制性的理解和精细的洞察。
7. 未竟之问与开放探索
所以，我并没有一个确切的答案，我有的依然是一个问题，或者说，一系列问题：
是否已经有人系统性地尝试开发一种提示方法学，其专门目标就是激发涌现的结构性知识——既不是事实检索，也不是创意生成，而是挖掘那些存在于聚合数据中、却不存在于任何单一来源的跨域模式？
如果没有，我们是否应该尝试？
我的假设很简单：LLM已经在人类书写的一切内容上进行了训练。在这个训练过程中，一些结构性的模式被编码了进去，这些模式从未被任何单一个体人类清晰表述过——因为没有任何单一个体人类阅读过所有内容。从一个正确的角度提出的正确问题，或许能激发出一些真正新颖的东西。不是新的数据，而是新的结构。
我很好奇来自任何探索过这片领域的人的想法——AI研究员、哲学家、工程师，或是从不同方向注意到同一现象的人们。我忽略了什么？我理解对了什么？这个方法在何处会失效？
在实践层面，我开始在自己的本地模型上建立一套简单的实验协议：记录“侧向提问”的链条、模型的回应、我感知到的“阻力”或“收敛”时刻，以及后续对内部激活的简单分析。这更像是一种知识考古学，工具是提示词和一点直觉。
我个人的体会是，这种探索需要一种混合的心态：一部分是科学家的严谨，设计对照实验；另一部分是哲学家的好奇，乐于追问“旁边还有什么”；还有一部分是侦探的耐心，从蛛丝马迹中拼凑全貌。它不会直接产出可立即变现的AI应用，但它或许能帮助我们更好地理解这些我们正在创造的、承载着人类知识全息图的智能体，其深处究竟蕴藏着怎样的、连我们自己都未曾明言的智慧结构。这本身，就是一个足够吸引人投入时间的理由。