大模型的探索与实践-课程笔记（十）：机器学习发展史

第一部分：机器学习的“三起两落”发展史

在这个发展史中，每一次神经网络的崛起都伴随着“算力/数据”的支持，而每一次跌落都源于“可解释性”与“应用局限”的限制。

1. 第一起与第一落 (1950s - 1960s)：感知机与符号主义

• 高光时刻：1956年达特茅斯会议首次提出“AI”概念；诞生了一阶感知机 (Perceptron)模型（可视为一层的单层神经网络y=sign(wx+b)）。
• 局限与跌落：
  • 异或问题 (XOR)：学者证明了单层感知机无法解决非线性可分的异或问题，能力极度受限。
  • 缺乏训练方法：当时尚未发明针对多层神经网络的有效训练算法。
• 学术转向：学界此时全面转向符号主义 (Symbolic AI)和专家系统，强调基于规则进行推导（黑盒不被信任，白盒规则当道）。这演变成了至今仍火热的Formal Language（形式语言）研究（下文有详述）。

2. 第二起与第二落 (1970s - 2000s)：BP算法与 SVM 的压制

• 高光复苏：由于脑神经科学/仿生学的启发，多层感知机 (MLP)受到关注。Hinton 推动了反向传播算法 (Back Propagation, BP / 链式法则)的普及。
  • 应用落地：两到三层的浅层神经网络在MNIST 手写数字识别任务上表现优异，准确率冲破95%，找到了第一个核心落地场景。
• 跌落低谷：算力遭遇严重瓶颈，网络层数无法加深。
• 传统 ML 巅峰：1990年代至2000年代，以SVM（支持向量机）、决策树以及AdaBoost为代表的基于严格数学推导的模型全面屠榜。神经网络再次沦为坐冷板凳的 Baseline（基线模型）。

3. 第三起 (2010s中期)：深度的觉醒与算力爆发

转折点在于斯坦福李飞飞团队发起的百万级图片分类挑战赛ImageNet。

• 2012年 AlexNet：Hinton团队的 AlexNet 采用了7-8层网络，准确率断崖式超越所有传统机器视觉方法，正式开启深度学习 (Deep Learning)纪元。
• 残差网络 (ResNet)：何恺明团队提出，加入了Residual Block（残差层），一举解决了深层网络的梯度消失问题，将网络做到了101层甚至更深，性能首次超越人类基准。

4. 腾飞与险些发生的“第三落” (2016 - 2021)

• 破圈起飞 (2016)：DeepMind 打造的AlphaGo利用历史棋谱击败李世石；进化版AlphaZero采用零知识学习（自我博弈）击败柯洁。底层核心技术为：强化学习 +蒙特卡洛树搜索 (MCTS)。人工智能概念席卷社会。
• 险遭冰点 (2018-2021)：
  • 这三年间，神经网络的商业落地极度受限，除了商汤/旷视等主打的“人脸识别”和一些打游戏Agent外，迟迟没有新突破。业界悲观呼喊 "Party is over"。
  • 续命之作：直到 DeepMind 推出AlphaFold成功预测蛋白质折叠，开创了AI for Science的先河，勉强为行业续了一波命。

5. 大模型时代的救场 (2022.12 至今)

2022年底 ChatGPT 的横空出世，彻底将处于瓶颈期的机器学习重新拉回爆发期。底层架构的趋同（Transformer为主）让各家大厂的竞争重点从“卷模型结构”演变成了“卷高质量数据与算力”。

第二部分：前沿学术方向衍生探索

Formal Language (形式语言) 与 LLM 的结合

• 背景：大模型的本质是基于统计概率的“文字接龙”，它并不真正懂逻辑，因此常出现幻觉。
• 研究方向：人为建立一个严苛的“语言乌托邦（规则空间）”，让所有输出必须符合这套 Formal Language 符号逻辑，强制约束模型的推理路径。
• 结论延展：这也是为什么目前 LLM 在写代码 (Coding)任务上表现远超其他领域的原因——因为代码本身就是一种极其标准、0与1分明、带有强验证属性的 Formal Language。

第三部分：历史的重演？

结合前面讲到的“三起两落”发展史，我们可以发现一个铁律：每一次 AI 的停滞，都是因为算法对算力和数据的需求，超越了当时硬件与现实世界的物理极限。如今的大模型虽然处于巅峰，但前沿学界已经开始担忧“第四次跌落”的潜在可能：

1. 算力墙与极客路线的崛起

随着 Transformer 架构参数量逼近万亿级别，摩尔定律逐渐失效导致了极高的训练成本壁垒。为了打破算力墙，学界的演进方向开始从“如何把模型做大”转向“如何把模型做小”。例如使用MoE（混合专家架构），在推理时只激活部分网络，从而在不增加算力负担的前提下保持高智商；或是深耕模型量化与蒸馏技术，将千亿参数的庞然大物压缩到能在消费级显卡甚至手机端运行。

2. 数据荒与“合成数据”的救场大

模型之所以强大，是因为它几乎看遍了人类互联网 30 年积累的高质量文本。但据前沿学术机构预测，高质量的人类语料即将耗尽。为了打破这一瓶颈，当前的学术焦点正在转向“AI 教 AI”——利用现有的强大模型生成遵循极高逻辑标准的合成数据，再用这些数据去训练新一代模型（比如 AlphaZero 当年抛弃人类历史棋谱，采用自我对弈数据就是极其成功的先例）。

第四部分：下一代范式革命——从大模型到 AI Agent

了解了 Formal Language 如何给不可解释的 LLM 戴上“镣铐”后，这就引申出了当前学界与产业界正在爆发的下一个大趋势：AI Agent（人工智能体）。

LLM 的本质只是被困在服务器里的“大脑”，它只会纸上谈兵。而 Agent 的核心理念是：LLM 大脑 + 记忆机制 + 工具调用（Tools / APIs）。

• 落地形态：如果遇到一道复杂的数学应用题，Agent 不再像单纯的大模型那样靠统计概率去瞎猜，而是自主写一段 Python 代码，调用外部解释器运行得出绝对正确的结果，再把结果组合成自然语言返回给用户。
• 终极愿景：从“Copilot（副驾驶/代码填充助手）”走向完全自主的“Auto-Agent（自动处理机器）”。结合前面提到的强化学习（Reinforcement Learning），未来的 Agent 将能够在不断试错中学会操作复杂的计算机软件，甚至控制物理世界的机器人。

工具与模型梳理