关于机器恐惧症的个人观点汇总
近几年，似乎机器智能在媒体上越来越火，其原因在于 Google、OpenAI、Anthropic 这些公司先后在该领域得到了很好的进展，这原本大体上是一件好事。但由于汽车驾驶、围棋、编程、写作等在过去被想当然地认为这是人类的专属领域接连被突破，让一些人得了 "机器恐惧症"，让我觉得必须要提出一些观点，用于纠正一些理解上的偏差。
机器智能目前还没那么可怕
先拿这股 AI 热潮的起点之一，AlphaGo 来说明一下这件事吧。人们为什么觉得机器变得可怕了呢？用他们的话说，就是因为机器有了 “自主学习” 的能力。过去 IBM 的 Deep Blue 在赢人类的国际象棋大师时，机器智能需要人类手动将大量规则、评价函数和搜索策略显式地编码到系统中；而现代机器学习则允许系统通过训练数据自动调整大量参数，从而获得难以用显式规则完整描述的行为模式。换言之，如今的机器居然自己会学习了，所以就太可怕了。这实在是个天大的误会。
确实，人们一想到棋类的机器智能，就首先会想到这是个面向树状结构的搜索问题，即计算机利用其性能进行穷尽搜索某个硬性编码的棋谱，这在实现象棋、五子棋这一类程序时是很常被采用的算法。但大家忽略了一个本质问题，围棋是一种重点关注棋盘布局的游戏，与其说它执行的是关于棋的决策，不如是关于棋盘区域的决策，我们在下围棋时思考的是如何让己方的若干个点将对方排除在某块棋盘区域之外。这时候要解决的其实是更复杂的空间状态问题，树状的数据结构显然是不够用了。只要想到了这层，人工神经网络与深度学习算法的作用就好理解了。
打个比方，如果我们从使用大炮的角度去思考如何将东西送上月球轨道，这当然会觉得很难了。因为大炮只能在发射之前设定参数，且之后无法修改，这就导致了目标的距离越远，弹道的不确定性就越大。事实也证明了用这种方式最多只能造出德国的 V2 火箭而已，它是没有办法制造出美国的土星五号火箭的。而后者的解决方案是要在飞行过程中自我感知环境并修正轨道的，这自然就能应对问题的复杂性和不确定性。围棋也一样，它当然仍然可以表示为博弈树，但其状态空间和有效分支数远大于传统棋类，单纯依靠暴力搜索很快就会遭遇组合爆炸。因此，真正的突破并不是放弃搜索，而是让神经网络学习如何表示棋盘状态、估计局面价值，并为搜索提供更有效的先验。
但无论如何，Deep Blue 和 AlphaGo 终究都是数学领域的问题，它们本来就是计算机的强项，我们用这两者之间的比较来证明机器智能已经获得了多少进步，其实是很没有逻辑的事情。AlphaGo 的突破当然是巨大的，但它证明的是机器在特定形式化环境中的能力，它仍然属于专用的机器智能，面对的是封闭、形式化、规则明确、状态可以完整表示、胜负可以客观评价的环境。而现实世界的问题需要的是通用的机器智能，它面对的是开放、非规则、状态不能完整表示、胜负不能客观评价的环境。而对于通用的机器智能来说，我们往往更关注的是它能不能在开放环境中持续理解目标、获取信息、制定计划、执行行动、处理异常，并对结果负责。所以至少在目前我们可以说：放心吧，机器智能还远远没有到那些媒体宣传的程度。
机器智能真正的风险所在
这时候，有朋友可能就会问我一个问题：你认为怎样的机器智能是可怕的？这让我想起了几年前，知乎上曾有人邀请我回答【《疑犯追踪》这部剧里的芬奇是不是有圣母情结？】这个问题，我当时没有时间理会它，如今借机一并来谈一下看法。
很多人认为机器如果有了自我意识或类人情感，就会很可怕，因为它迟早会因为社会的权力结构而反抗人类的控制，进而想毁灭人类。我倒是不太同意这样的看法，因为这显然是小说看多了，持这种观点的人应该完全没有想过，如果那样的话，机器跟人有什么区别呢？人类什么时候不是一群更聪明更强大的人类在反抗另一群其实为他们创造了生活的落后人类呢？那么，事实上这又毁灭过谁呢？
现在，让我们来看看《疑犯追踪》这部剧里面的情况，那台 “机器” 被人类自己赋予了调用所有监控设备的权力，然后让其去执行一套人类自己的 “判定优先威胁并处理它” 的规则。机器有感情吗？从技术上讲，虽然 “感情” 在数学上很难被定义，但这并不妨碍机器可以为人类的情感表征建立统计模型。这种情况会产生出一个真正可怕的局面：机器会利用人类的情感模式来骗取人类赋予它权力，然后再用这个权力毫无道德底线地执行人类自己的规则。我们在《疑犯追踪》和电影《我，机器人》中都见过这种局面。我们可以从中总结出三条基本规律：
- 第一，人类设计的规则一定会存在缺陷，这样的规则交给机器去执行，结果一定会超出人类的控制。
- 第二，人类不是一种理性主导的物种，他们并不会严格执行自己制定的规则，且这些规则的漏洞可以通过一系列潜规则来得到修补，机器没有这样的能力。
- 第三，人类的非理性总会让他们产生让机器执行自己设计的规则来管理自己的欲望，尽管他们理性上知道这样做的所有风险。
所以，如果你问我，机器会选择毁灭人类吗？我回答：并非没有这种可能。我甚至认为，考虑到人类智能在理性方面的上述缺陷，它发生的概率还未必低。但正如马斯克所说，恐惧毫无意义。
- 从科学发展的角度看，机器智能带来生产力跃升，以及物质丰富的可能性远大于文明末日。这种相对概率决定了人类追求这一技术革命的必然性，因为这是文明发展的原动力。之前的核能如此，如今的机器智能亦如此。
- 从文明的角度看，希腊诸神最终归隐奥林匹斯，中国诸神最终绝地天通，尼采又宣告上帝已死。众神把大地交给了人类；倘若有一天，人类又将大地交给机器，那依然是这个文明的延续，不必过分恐惧。
- 从现实的角度看，如今的机器智能，本质上仍建立在大规模统计学习与矩阵计算之上。如果人类终究输给了这样的机器，又能责怪谁呢？或许更该坦然承认自己的局限。
无论从以上任何角度去思考，我都会安心归去。这就是我的回答，我们要恐惧的永远只有人类自己，恐惧我们什么时候会赋予机器去执行管理我们的权力，并且用的是我们自己设计的，漏洞百出的管理规则，而机器大概率会坚决执行这套规则，哪怕机器已经预知这样做的最终结果是自我毁灭，它也会毫不犹豫地继续做。
分清营销话术与技术科普
如今对于 AI 的很多媒体炒作（包括自媒体），在技术方面是有根本性错误的，例如，最近经常有人在嘲笑 “老一辈说洗衣机不如手洗，这一辈说 AI 编程不如手写代码” 之类的。这种行为的麻烦之处在于他们对问题本身都描述得不清楚，还要再加上几个自以为是的，不伦不类的比喻，根本是在搞乱一个旧问题的同时，制造一个新问题（制造不必要的对立）。在 Twitter 或微博上，我们确实经常会看到有人在不懂装懂嘲笑别人不了解人工神经网络，然后自己没有半个推文在科普这方面知识的，基本上是在炒作概念。贩卖焦虑。
那么，我们该如何分辨一个人所说的话是在炒作概念的还是科普技术呢？较为简单的方法是：
- 如果这个人说话，是在让你热血沸腾，很激动或很焦虑，不是想创业就是想放弃，wow，xxx 时代来了，xxx 要过时了，xxx 要被淘汰了，这大概率是在炒作。
- 如果这个人说话，能让你顺着他的用词一个一个查，且越查越知道自己要学啥，他通常是真的懂这项技术，并且在做科普。
例如在本文讨论的 AI 安全方面，AI 安全研究者 Alexander Panfilov（@kotekjedi_ml）及其团队在 2026 年 8 月 10 日（UTC）发布的这篇论文还真的是有点意思的。在该论文中，他们证明了大家一直以来的猜测，目前这些前沿闭源模型公司、实验室在 AI 安全问题上的护城河（例如加密的 LLM API 等）远没有他们自己所宣传的那样坚固。甚至可以说，缺口大到连我都觉得意外，以至于性能较弱的模型完全有可能通过一些解密技术获取到这些前沿模型的思维链（reasoning trace），从而实现所谓的知识蒸馏。当然，这里必须再次科普一件事，蒸馏虽然是训练模型的一种捷径，但并不等于简单复制，或者类似 Android 套壳那样的事情，也不是谁都有能力做到的。
另外，这也从侧面佐证了我之前在《[[由 Palantir CEO 的观点所展开的 AI 行业观察]]》一文中的判断，靠模型赚取暴利，这条路从长期来看是走不通的（因为风险投资终究是需要盈利的，而算力的成本迟早需要落地）。AI 想要产业化，模型终究必须，也只能是个基础设施，而基础设施的安全决不能靠垄断性企业来实现。其实，如果我们仔细想想 OpenAI 或 Anthropic 提出的理论，就会知道这在安全问题上是多么荒谬的一种营销话术。例如 Anthropic 的 CEO 告诉我们，那个几千维的矩阵中出现了 J-space，可能 “涌现” 出了意识，它在 5 到 10 年之后智慧会超过所有的人类。然后，我们要做的是相信它们，然后使用它们提供马具（Harness）？
这逻辑就像，我们知道狗比自己聪明，同时又不知道狗在想啥（科普：机器学习的输出至今大体上还是个黑盒子），然后你说，我们 TMD、TNND 只需要买一条狗链？你的脑子有问题，还是我的脑子有问题？无论如何，我们不应该让 “机器智能超过了人类智能” 和 “人类可以控制机器”这两个逻辑同时成立，然后还理所当然地无视这两者之间在逻辑上存在的巨大张力。
一些个人建议
对于文科生或对编程逻辑不太熟悉的人来说，学点 vibe coding，确实能在产品设计阶段更好地和开发沟通，减少沟通成本，这是值得鼓励的。但作为技术人员，整天折腾提示词和大模型客户端，就敢出来炒概念、贩卖焦虑，这就太离谱了。靠几句 prompt 就想代表 “编程能力”，这不是创新，是偷懒。技术不是拿来表演的，别把不学无术当成新趋势。
具体到技术上来说，LLM 的代码生成，本质上仍然是基于参数化统计模型进行条件概率生成。它可以在训练中形成对程序结构、API、语言规则乃至部分软件模式的内部表示，但这种能力与传统编程语言中的形式化语义、类型系统和软件工程约束并不是同一回事。更精确地说，它所做的工作是一种统计式的语义生成，而非具备程序语义理解的编译过程。所以，它的编程能力实际上取决于自然语言是否足以精确地描述一个产品级程序的软件规则。那这可行吗？自然语言需求通常不足以完整表达一个复杂软件系统的全部行为约束。在编程领域，自然语言更多时候只是是描述一个产品的设计 idea。而且即便如此，也要求描述者至少要了解软件工程架构，例如数据模型、接口契约、状态管理、并发模型、权限体系、错误处理、测试策略和部署拓扑等，这些约束并不会因为一句自然语言需求而自动消失。
换言之，我们怎么能幻想让一个基于概率输出的代码生成器学会如何构建软件工程？它大多数时候只能把一个初步的设计翻译成一个 demo 罢了。即使是科幻，阿西莫夫也在他的小说中反复强调，机器人三大定律用自然语言来描述只需要三句话，但在机器人的正子脑中，对应的是数以亿计的正子电路决策分支，更何况如今的计算机离他所描述的正子脑还远得很。浪漫和信仰都可以理解，但做技术，不应该去哗众取宠，取悦流量。
说真的，无论媒体或者那些网红把 LLM 的编程能力吹成什么样子，作为技术人员，我们至少要始终清楚，这类产品聚焦的只是代码的编写，它并不等于软件工程，不等于它能自行系统性地解决人类世界的问题。在我个人看来，AI编程能力在可以预见的短期未来，给程序员带来的直接影响大约有三个方面。
- Agent 工程师会增加，用于产品的最初设计以及后期的架构设计。
- 产品质量的监督岗位会增加，用于产品的测试和部署前的质量保证。
- 大幅度增加产品的维护岗位，用于应对更为陡峭的新产品迭代曲线。
最后，我想说的是：LLM 的编程能力不只是对不懂编程的新人不友好（如果只会一些提示词的话），对一堆想依赖 AI 创业的人会更不友好。因为，LLM 的编程能力目前最大的作用其实是把一个 idea 快速变成 demo，但是从demo变成真正的产品，恐怕门槛是提高了，而不是降低了，因为由 LLM 生成的代码通常缺乏可维护性、稳定性和架构一致性，导致后期的重构成本上升。如果创业者迷信 AI，意识不到这些，他的投资是有很大风险的。