当前位置: 首页 > news >正文

从炼金术到AI:蒸馏技术的演变与对人的影响引发的思考

【蒸馏概念在AI圈的兴起】

「任何足够先进的技术都与魔法无异。」——阿瑟·克拉克。有人疑惑,为何看到「蒸馏」一词会有生理上的不舒服。这里的蒸馏并非化学课上把水煮沸变成水蒸气的过程,而是AI圈子里将一个人的经验、判断方式、工作方法提炼成结构化文件(即skill)交给AI运行的操作。前不久张雪峰去世后,GitHub上出现「张雪峰.skill」开源项目,开发者称其为一套「认知操作系统」,他们研究张雪峰的多本书、采访和语录,提炼出其核心思维模型和决策方法,该项目能像张雪峰一样回答问题。此外,还有乔布斯skill、马斯克skill等,甚至有人做了「数字永生框架」和「同事Skill」,同时也出现了「蒸馏协议」戏称「牛马保护法」。这不禁让人追问,这算不算马克思所说的异化?

【蒸馏过程本身带来的不适】

先不考虑AI,回到「蒸馏」这个词,其过程是容器里的液体加热,部分成分气化,蒸汽通过管道到另一容器冷却成液体,即馏出物,剩余的是残渣。这个过程至少有三层让人不舒服的地方。一是加热,提取需要对原料施加压力,公司让员工沉淀经验等管理动作就如同对员工加温,这是施压的过程。二是分离,蒸馏将「有价值的部分」和「没价值的部分」分开,把人拆件估值。三是容器,馏出物被收走,原来的容器变得不重要,人如同被烧过留在底部的东西,是原料而非产品。而「学习」「传承」等词不会带来这种不舒服,因为蒸馏自带纯与不纯等隐喻。那么,AI领域为何选用「蒸馏」这个词呢?

【Hinton蒸馏大模型】

2015年,Hinton和Google的同事发表《Distilling the Knowledge in a Neural Network》论文,要解决大模型太大、成本高、难以部署的问题。他们训练小模型,让其学习大模型答题时的概率分布,而非原始训练数据。Hinton将此操作命名为「蒸馏」,他引入softmax temperature控制大模型输出的「软硬程度」,暴露模型的「内心犹豫」,即暗知识。此前2006年Buciluă也做过类似操作,命名为Model compression。Hinton不仅换了词,还构建了一整套隐喻体系,甚至用生物学类比。而「蒸馏」一词在历史上与炼金术相关,贾比尔·伊本·哈扬认为蒸馏可分离物质本质,得到第五元素,炼金术将蒸馏视为重要步骤,且蒸馏也被用在人身上,如帕拉塞尔苏斯认为人由硫、汞、盐构成,可被分离。这让人联想到《钢之炼金术师》中人体炼成的禁忌。

【巫术被消灭,科学胜利】

1675年,法国药剂师Lemery切断化学和炼金术的联系,化学将自己洗白,蒸馏成为干净的技术术语。物理学也完成类似切割,牛顿的炼金术手稿被退回。现代世界在理性之上诞生,马克斯·韦伯提出「世界的祛魅」。然而,炼金术并未真正消失,烈酒的英文、法语、德语词汇与灵魂有关,词源上有联系。2017年,Google AI研究员Ali Rahimi称「机器学习已经变成了炼金术」,引发行业争论,杨立昆反击,但类似说法在程序员圈子流传,训练深度学习模型被称为「炼丹」。

【巫师回来了】

牛顿的炼金术手稿在1936年被拍卖,凯恩斯收集了大部分。他发现牛顿写了大量炼金术文献,意识到炼金术可能是牛顿毕生的核心工作。凯恩斯认为牛顿是最后的巫师,这让我们思考理性的历史是否只是一种叙述方式,神秘学是否是理性发展的重要力量。程序员管训练模型叫「炼丹」,与炼金术士的状态同构。Hinton用「蒸馏」一词时,语言背叛了他的自我理解。

【当人也可以被蒸馏】

2015年Hinton发明AI蒸馏,对象是模型,最初蒸馏分类概率。但十年间,蒸馏能提取的东西发生质变,如2019年Google的DistilBERT,2024年DeepSeek的R1模型能推理,蒸馏其推理过程效果良好。从蒸馏静态判断结果到动态认知过程,模型蒸馏和人的蒸馏边界开始模糊。2025年Anthropic给Claude发布skills功能,2026年初OpenClaw框架走红,有人提出将「怎么像某个人一样做事」装进skill,colleague - skill出现,蒸馏人成为现实操作。

【什么消失了?】

在蒸馏人的过程中,张雪峰等人物的犹豫、破例等隐性判断消失了,蒸馏人传递的是离散规则描述,损耗巨大。且这个方向精度在提高、边界在扩展,未来可能蒸馏普通人的工作记录。这让人联想到《JOJO的奇妙冒险》中抽碟片的操作。当蒸馏对象从模型变成人,炼金术的追问成为现实问题,如人是否是混合物、哪些部分可分离等。蒸馏是现代性的核心隐喻,每次蒸馏对象从物推向人都会引发危机,如泰勒分解工人动作、心理测量学蒸馏智力等。对「蒸馏」的不舒服,是对古老问题的不安,即分解活的整体时,让它「活着」的东西去哪了。

【我们又不能不蒸馏】

写作过程其实也是一种蒸馏,作者将模糊的生理不适拆解成各种分析,经历加热、分离,制造了残渣。文章某种意义上是作者的skill,但读者未获得作者写作过程中的一些瞬间。蒸馏是一个难以站在外面评论的操作,写作、教学、回忆都是蒸馏。也许我们需要学会做一个好的酿酒师,知道提取和留下什么,明白馏出物不是原物。AI是蒸馏实验的最新一步,而炼金术的第七步凝固还未有人做,第五元素依然未出现。

http://www.jsqmd.com/news/645942/

相关文章:

  • 终极效率革命:如何用Illustrator脚本库将设计工作提速10倍
  • CCS工程编译报错别慌!手把手教你用XGCONF搞定RTSC库缺失问题
  • B站音频下载终极指南:用BilibiliDown轻松提取高质量音频资源 [特殊字符]
  • 硅线石怎么选?五大核心要素、5家头部厂家及选购指南全解析 - 深度智识库
  • 2026长沙个人写真工作室精选推荐|不同预算不同风格全适配,精准避坑不踩雷 - 新闻快传
  • 【AI基础设施必读】:为什么92%的多模态服务在QPS破万后缓存崩盘?3大反模式+实时自适应缓存引擎设计
  • Cisco Packet Tracer 6.2 汉化指南 | 计算机网络学习利器
  • Git Rebase vs Git Merge:深入理解与实战选择
  • 15MW海上风机开源参考模型:从学术研究到工程实践的完整技术路线
  • 2025年遥感图像变化检测的Open-CD开源解决方案
  • 上海SMC气缸现货代理商推荐:2家原装正品、发货快的公司 - 品牌推荐大师
  • 2026 年 AI 时代:海外用户研究注册支付宝买中国 AI 企业 Coding 套餐,国产模型低价时代渐终结
  • 旅游推荐工程师最后的护城河正在消失?SITS2026实测:掌握这6个模态对齐关键指标,立刻升级高阶能力
  • 如何快速下载B站视频?BilibiliDown终极免费工具完整指南
  • 魔兽争霸3兼容性完整解决方案:WarcraftHelper实用工具指南
  • 从Windows到GEC6818开发板:手把手教你用VMware+Ubuntu搭建嵌入式交叉编译环境(含SecureCRT连接避坑)
  • ComfyUI IPAdapter终极指南:3步掌握AI图像风格转换与多模态生成
  • 2026长沙个人写真综合实力TOP10|硬核全维度测评,谁是真正的行业标杆 - 新闻快传
  • 炸裂!OpenAI 把 Codex 装进了 Claude Code!!
  • 如何快速获取B站推流码:5分钟掌握专业直播工具使用指南
  • 滑雪服厂家选购指南:如何找到靠谱高端滑雪服代工伙伴 - 速递信息
  • 鸿蒙(OpenHarmony)RK3568开发板触摸屏适配实战:绕过HDF框架,直接复用Linux驱动搞定GT911
  • 如何轻松配置暗黑3按键助手:D3KeyHelper完整使用指南
  • 如何免费下载百度文库文档:3分钟快速获取完整指南
  • CGCS2000与UTM分带实战:从原理到EPSG代码的精准匹配
  • 2026年南昌婚纱摄影口碑品牌前五攻略|备婚新人参考 - 新闻快传
  • 2026年服务好的螺杆阀生产厂家,口碑大揭秘,螺杆散热良好,避免高温影响性能 - 品牌推荐师
  • 如何用3步将微信聊天记录永久保存并智能分析
  • 别再只把n8n当自动化工具了!手把手教你用它的Agent节点,给飞书做个AI日程新闻播报员
  • 揭秘Universal x86 Tuning Utility:3个场景教你如何精准掌控处理器性能