未来是神经-符号的：AI 推理是如何演变的

原文：towardsdatascience.com/the-future-is-neuro-symbolic-how-ai-reasoning-is-evolving-143ce6485b4f

人工智能软件被用于增强本文文本的语法、流畅性和可读性。

一个名为AlphaGeometry的显著新 AI 系统最近解决了大多数人类都难以解决的困难高中水平数学问题。通过结合深度学习神经网络与逻辑符号推理，AlphaGeometry 为开发更类似人类思维的 AI 开辟了令人兴奋的方向。

AlphaGeometry 背后的关键创新是其“神经-符号”架构，该架构将神经学习组件与形式符号演绎引擎集成。正如 DeepMind 的研究人员解释的那样，定理证明任务，如几何构造问题，需要既要有灵活的神经创造性推理来推断隐含关系并引入新步骤，也要有逻辑上严格的基于规则的演绎来可靠地构建严谨推理链。

纯神经网络或纯符号 AI 单独都无法解决这样的多方面挑战。但结合在一起，它们实现了单独使用任何一种范式都无法实现的令人印象深刻的协同效应。

数学定理证明的挑战

证明定理被认为是逻辑推理能力的终极测试。像几何构造这样的任务涉及多方面的挑战：

• 灵活的模式识别，以揭示隐含的几何关系

• 创造性的飞跃，引入辅助构造并扩展证明搜索空间

• 逻辑上严谨的推理链，遵循形式演绎规则

基于规则的推理和数据驱动学习在同时解决这些不同方面时都有局限性：

纯符号引擎在模式识别和推测性证明步骤的提出方面缺乏灵活性。但它们能够：

• 可解释、可验证的推理链

• 基于数学严谨性的可靠基于规则的演绎

纯神经网络在逻辑严谨性和透明度方面存在不足。但它们在以下方面具有优势：

• 从数据示例中学习复杂策略

• 识别隐藏在几何图中的复杂关系

• 灵活的推测性推理，以假设潜在的证明方向

神经-符号解决方案

如 AlphaGeometry 所展示的，将神经学习与符号逻辑引擎集成，实现了显著的协同效应。该系统紧密耦合：

1. 基于强大的 Transformer 架构的神经证明引导模块

2. 提供可靠符号推理的几何演绎数据库

通过协调它们互补的优势，AlphaGeometry 能够在证明困难的定理方面与杰出的人类数学家相媲美。

这种融合为在人工智能系统中发展更类似人类的推理设定了一个引人入胜的方向。将神经网络推测和基于规则的验证相结合，有望推动在自动化推理前沿长期存在的挑战的进展。

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/79d18880071e99cce854614ed9fdc4ca.png

由 Dall-E-3 生成

概述：

第一部分

• 标题：混合神经-符号系统的力量

• 过渡：我们看到了 AlphaGeometry 如何将神经网络和符号系统相结合。现在让我们来探讨它是如何克服纯神经网络方法的局限性的。

第二部分

• 标题：克服纯神经网络方法的瓶颈

• 过渡：凭借其数据生成创新，AlphaGeometry 使进步摆脱了瓶颈。接下来，我们将探讨其更广泛的影响。

第三部分

• 标题：为自动化推理开辟道路

• 过渡：AlphaGeometry 的开创性工作展示了混合推理的潜力。最后，我们将这一成果与神经-符号人工智能的起源联系起来。

第四部分

• 标题：回归神经-符号推理

I. 混合神经-符号系统的力量

神经网络实现多变的模式识别

AlphaGeometry 的核心是一个基于前沿 Transformer 架构的神经网络证明引导模块。Transformer 推动了在语言、图像、语音和其他领域模式识别方面的突破。

类似地，AlphaGeometry 利用 Transformer 的多变学习能力来揭示隐藏在问题图中的潜在几何关系。通过摄入数百万个合成训练示例，神经网络模型学会识别复杂的模式——如识别特殊角度或线段比例——这些模式可以提供构建性证明步骤的信息。

这种灵活的神经网络模式识别为假设非显而易见的辅助术语提供了灵感，这些术语可以扩展证明构建选项。神经网络模型通过引导基于学习到的视觉模式的潜在证明方向来指导整体搜索过程。

符号推理引擎实现数学严谨性

为了补充其神经创造性推测，AlphaGeometry 集成了一个几何演绎数据库系统，该系统确定性地应用形式符号逻辑规则。这个演绎引擎提供了一个坚如磐石的数学严谨性基础。

它通过构建可验证的有效几何推理链来构建可解释、透明的推理链。每个演绎步骤都遵循已证明的逻辑规则，通过符号验证确保整体证明的合理性。

这在神经网络可能不透明或具有推测性的地方提供了精确性和可靠性。演绎系统还高效地实现了优化的符号操作程序，以实现快速的多步形式推理。

协同互补优势

通过紧密集成 transformer 的模式识别和演绎引擎的逻辑严谨性，AlphaGeometry 在合作框架内融合了机器创造力和数学严谨性。

神经引导探索无限的构造空间，假设有成效的辅助术语。符号验证用纪律性的逐步逻辑链将这些推测性跳跃固定下来。这种互动与人类在处理灵活见解和纪律性推理方面的能力相匹配，甚至超越了人类。

推理的未来在于混合神经符号架构，这些架构协调各种 AI 技术以实现超越任何单一方法的协同效应。正如 AlphaGeometry 在数学领域开创性地展示的那样，集成系统在推进逻辑思维方面具有巨大的潜力。

我们看到了 AlphaGeometry 如何协同神经网络和符号系统。现在让我们来看看它是如何克服纯神经网络方法的局限性的。

II. 克服纯神经网络方法的瓶颈

克服神经网络数据稀缺瓶颈

基于神经的推理系统的一个长期障碍是它们对大量标记训练数据的渴望。在几何等正式领域，对数学证明进行手动标注以进行训练会严重造成数据稀缺。

收集成千上万的人类构建的证明数据集可能成为一个难以克服的瓶颈，阻碍进步。AlphaGeometry 通过一种称为合成数据生成的创新技术绕过这一障碍。

自动化合成证明生成

关键思想是算法性地制造合成训练数据，而不是依赖于稀缺的人类示例。AlphaGeometry 通过以下方式做到这一点：

1. 随机采样几何构造步骤，如线、圆、角度等。

2. 将这些原始步骤结合起来，自动生成数百万个新颖的定理陈述。

3. 将平行线原理等演绎规则应用于推导合成定理的证明。

该管道同时合成新的定理前提及其相关证明，无需手动标注。

超越人类极限

自动化合成证明生成消除了工程和数据收集瓶颈。这使得创造了超过一亿个独特的训练示例——远远超过手动可行的情况。

广度探索了广泛的推理策略，这些策略超出了有限的人类标注所能覆盖的范围。这种多样性为模型准备了解决数学逻辑证明搜索组合复杂性的能力。

解锁可泛化推理

通过在合成证明上而不是在罕见的人类示例上进行预训练神经网络引导模型，AlphaGeometry 完全摆脱了数据依赖。

自动数据生成充当了任意可扩展的替代品，用于手动标注。这承诺即使在缺乏人类训练数据的专门形式领域，推理也能取得进步。

结果产生的神经符号系统在从未训练过人类证明的情况下展现出人类水平的数学直觉！这展示了合成数据在解锁人工智能进步方面的范式转变潜力。

通过其数据生成创新，AlphaGeometry 使进步摆脱了瓶颈。最后，我们将探讨更广泛的影响。

III. 为自动化推理开辟道路

AlphaGeometry 的开创性工作展示了一个有希望的模板，用于进化更强大的 AI 推理系统。通过紧密协调神经推测和符号逻辑验证，混合神经符号架构可以应对超越任何单一方法的多方面挑战。

克服单一方法的局限

纯神经网络和纯符号引擎在处理复杂现实世界推理，如数学证明方面都表现出局限性：

• 单一的神经网络缺乏可解释性和可靠性保证

• 单一的符号系统局限于没有创造性灵活性的演绎链条

AlphaGeometry 通过合作的双架构克服了这些个别弱点。神经变换器组件在证明搜索过程中假设创造性的辅助结构。这扩大了推理画布的范围，超出了演绎符号引擎的领域。

同时，符号逻辑组件严格验证神经推测，巩固了严谨的推理链条。它们协同工作，实现了单方面无法达到的协同效应。

绘制人工智能推理的未来

连接主义机器学习与可解释的符号逻辑的结合有望推动自动化推理达到前所未有的高度。

通过协调它们互补的能力，混合神经符号系统可以应对超越当今人工智能的多方面现实世界复杂性。AlphaGeometry 的创新在这个方向上开辟了一条令人兴奋的道路。

它的技术可以催化解决数学、计算机科学、科学分析、逻辑辩论和其他推理前沿的长期挑战。通过将神经创造性与逻辑纪律相结合，人工智能的未来在于既灵活又严谨的集成系统。

AlphaGeometry 开创了混合推理的承诺——通过将机器学习与可解释的符号逻辑融合，匹配并超越人类。其神经符号方法指向了一条培养更全面、类似人类的自动化智能的可行路径。

IV. 回顾神经符号推理

迈向混合推理：将结构融入亚符号系统

正如我们在 AlphaGeometry 系统中看到的那样，将神经网络与符号方法（如演绎数据库）相结合，能够解决单独采用任一方法所无法克服的挑战。同样，结构化知识图谱的融合有望增强大型语言模型（LLM）以应对复杂的推理。

正如符号引擎在 AlphaGeometry 中为神经创造力提供逻辑严谨性一样，知识图谱可以为 LLM 的无节制推测提供经验基础和可追溯的推理路径。

强化混合系统需求

尽管大型语言模型表现出卓越的流畅性和适应性，但如果没有辅助，它们在深入解释推理、长因果链和创造性假设机制方面会面临挑战。

知识图谱提供了结构化的符号表示来填补这些空白——但同时也面临着规模、噪声、不完整和稀疏性等自身挑战。

这促使我们采取协调的神经符号方法，融合这两种技术。正如演绎数据库在 AlphaGeometry 中为 Transformer 推理奠定基础一样，基于事实的知识图谱可以为 LLM 生成的内容提供本体论框架，以赋予其有效性。

将神经推测推理与结构化逻辑知识相结合，有望构建既灵活又严谨的集成系统。这种融合为培养全面、类似人类的自动化推理提供了稳健的途径。

—

首席人工智能官与架构师：Fribl 神经符号 AI 系统构建者，增强通用人工智能（GenAI）在人力资源领域的应用

Fribl