当前位置: 首页 > news >正文

AI大模型竟被投毒?315曝光的“暗黑操作”如何影响你的决策?

今年的 315 曝光了一件事情:有人专门给 AI 大模型投毒。

所谓投毒,就是刻意地制造一些商业化的、甚至是恶意的内容,让这些内容出现在大模型的回答中。

在节目中演示了一个完全虚构的产品:阿波罗 9 号智能手环。这个手环从品牌到参数全都是虚假的。通过模拟“投毒”的过程,节目组实现了在两个小时之后,让 AI 去推荐它的一个效果。在 3 天后,它甚至登上了两个主流大模型的推荐榜单。

这其实和我们的体感是有些违背的。我们往往会觉得,现在的大模型已经变得非常聪明了,甚至在很多领域比我们自己还要聪明。

你或许会觉得,给大模型投毒也太容易了吧,但是学术研究告诉我们,实际上可能比 315 展示的还要更容易。

「今天这篇文章,为你讲清楚给大模型投毒的原理,以及我们普通人应该如何去进行防范。」

大模型是怎么知道答案的

要理解投毒,得先理解一件事:大模型回答你问题的时候,它的知识从哪来?

很多人以为大模型什么都懂。但实际上,大模型更像一个很会写作文的学生——它的语文能力很强,但知识面是有限的,训练完成之后知识就定格了。

那怎么回答那些它没学过的新问题呢?答案是:「现查资料」

这个现查资料的技术叫做RAG(检索增强生成)。工作流程是这样的:

  1. 你问了一个问题
  2. 系统先从互联网或知识库里搜索相关的内容
  3. 把搜到的内容当作参考资料塞给大模型
  4. 大模型读完这些资料后,组织语言回答你

打个比方:大模型就是一个考场上的学生,RAG就是它带进考场的参考资料。

它写出来的答案好不好,很大程度上取决于参考资料的质量。

所以315曝光的投毒,不是给学生洗脑,而是往它的参考资料里夹私货。在互联网上大量发布含特定关键词的软文,让大模型在查资料的时候查到这些假内容,然后信以为真地推荐给你。

投毒到底有多容易

那么这件事情到底有多容易呢?

宾夕法尼亚州立大学的研究团队在 2024 年,在全球安全顶会上发表了一篇文章叫 PoisonedRAG,专门来研究这件事情。

结果其实是令人震惊的。他们发现,在一个有 268 万条正常数据的知识库里面,只需要塞进 5 条假的,就能够实现 97% 成功率的攻击。而且这种攻击对当时的 8 个主流模型都非常成功。

他们的攻击方式是这样的:首先造一段假的文本,让搜索系统能够搜到它。比如他们会把用户可能问到的问题嵌入到文本中,我们拿智能手环的场景举例:它造假的文本中可能就包含了“智能手环推荐”这些关键词;到这段假文本之后相信它。研究人员用了自己训练的一个大模型,来生成这种看起来非常有说服力的内容,他们用 AI 来欺骗 AI。

回到上面参考资料的例子:一个图书馆中有 268 万本书,而你只需要悄悄地塞进去 5 本有问题的,那可能就会有 97% 的学生回答错误的答案。

想想还是挺恐怖的。

防住比你想的难

对于我们普通人来说,最关注的应该还是如何去进行防范。

能否从平台层面增加一些过滤呢?

研究人员尝试了四种防御方案。

  1. 用 AI 去重写搜索到的内容
  2. 用统计方法去识别看起来不够正常的文本
  3. 去除高度相似的内容
  4. 在知识库中补充更多的正确信息

但研究发现,这四种方案都不够有效。

这件事情为什么这么困难?核心还是在于,问题并不出现在大模型的能力或者智能本身,而是出现在它的参考信息里。

回到那个比喻来讲:问题不在于写答卷的学生,而在于学生去的图书馆。

如果学生本身知识不足,或者价值观有问题,你还可以重新去教育他。

但是现在的问题是:在一个大的图书馆里,混进了少数几本假书,而且这些假书写得和真书一样好。

更麻烦的是,互联网是一个任何人都能上架图书的开放图书馆。这不是某一个平台能独立解决的问题。

三个防范的建议

说了这么多,不是为了让你恐慌,而是希望你在了解清楚它的原理的基础上,能够更好地去防范它。

如果你只是用 AI 搜索来查个天气、翻译一个句子的话,这种“投毒”的方式并不会影响你。

但是,如果你需要参考一些信息做一些重要的判断,比如:买一个什么样的产品或者选择一个什么样的方案的时候,你需要尤其的小心。

我可以给你三个建议:

「1. AI推荐≠事实。」它本质上是在转述它搜到的参考资料,而这些参考资料有可能是被人精心投放的。

「2. 重要决策,交叉验证。」别只问一个AI,也别只信AI,去看看真实用户评价、专业测评、官方信息,多一个信源,就多一层保障。

「3. 追问信源。」现在很多AI搜索会给出引用链接,点进去看看。如果引用的全是你没听过的网站上的软文,那就得多个心眼了。

~

AI行业迎来前所未有的爆发式增长:从DeepSeek百万年薪招聘AI研究员,到百度、阿里、腾讯等大厂疯狂布局AI Agent,再到国家政策大力扶持数字经济和AI人才培养,所有信号都在告诉我们:AI的黄金十年,真的来了!

在行业火爆之下,AI人才争夺战也日趋白热化,其就业前景一片蓝海!

我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》,包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴,可以VX扫描下方二维码免费领取🆓

人才缺口巨大

人力资源社会保障部有关报告显示,据测算,当前,****我国人工智能人才缺口超过500万,****供求比例达1∶10。脉脉最新数据也显示:AI新发岗位量较去年初暴增29倍,超1000家AI企业释放7.2万+岗位……

单拿今年的秋招来说,各互联网大厂释放出来的招聘信息中,我们就能感受到AI浪潮,比如百度90%的技术岗都与AI相关!

就业薪资超高

在旺盛的市场需求下,AI岗位不仅招聘量大,薪资待遇更是“一骑绝尘”。企业为抢AI核心人才,薪资给的非常慷慨,过去一年,懂AI的人才普遍涨薪40%+!

脉脉高聘发布的《2025年度人才迁徙报告》显示,在2025年1月-10月的高薪岗位Top20排行中,AI相关岗位占了绝大多数,并且平均薪资月薪都超过6w!

在去年的秋招中,小红书给算法相关岗位的薪资为50k起,字节开出228万元的超高年薪,据《2025年秋季校园招聘白皮书》,AI算法类平均年薪达36.9万,遥遥领先其他行业!

总结来说,当前人工智能岗位需求多,薪资高,前景好。在职场里,选对赛道就能赢在起跑线。抓住AI风口,轻松实现高薪就业!

但现实却是,仍有很多同学不知道如何抓住AI机遇,会遇到很多就业难题,比如:

❌ 技术过时:只会CRUD的开发者,在AI浪潮中沦为“职场裸奔者”;

❌ 薪资停滞:初级岗位内卷到白菜价,传统开发3年经验薪资涨幅不足15%;

❌ 转型无门:想学AI却找不到系统路径,83%自学党中途放弃。

他们的就业难题解决问题的关键在于:不仅要选对赛道,更要跟对老师!

我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》,包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴,可以VX扫描下方二维码免费领取🆓

http://www.jsqmd.com/news/500070/

相关文章:

  • 计算机毕业设计答辩全攻略,答辩老师最常问的都在这里了
  • 二叉树详解:从概念到应用,带你玩转树形结构
  • 【卡尔曼滤波】第1章 理论基础与标准卡尔曼滤波
  • 一、Spring
  • 号码核验在B端拓客中的应用困境与技术升级路径研究氪迹科技法人号码核验系统
  • 软件开发常用工具介绍
  • HTTP 消息:解析与优化
  • LoRA 与 QLoRA
  • Zabbix6.2利用模板和自定义监控项监控华为AR3260路由器
  • ROS2学习记录009-使用面向对象方式编写ROS2节点
  • 从此告别拖延!全场景通用的AI论文工具 —— 千笔写作工具
  • 震惊,杨幂的脸竟然出现在了她的身体上
  • java基础学习3(数据类型转换、运算符)
  • 把坑都踩完了,千笔AI VS 笔捷Ai,全场景通用AI论文网站!
  • 【常见错误】Xilinx Vivado自带编辑器文字部分出现乱码解决办法
  • 数字孪生国内外发展现状
  • 【Xilinx Vivado时序分析/约束系列2】FPGA开发时序分析/约束-建立时间
  • 终极指南:使用Google Map React库快速构建交互式地图应用
  • JetBrains 插件 IDE设置
  • 学霸同款!全领域适配的论文神器 —— 千笔
  • STM32-串口使用注意事项
  • Kubernetes 认证通关指南:CKA/CKS/CKAD 最新题库 + 本地仿真环境 + 模拟考
  • 2.postman断言
  • 具身智能中 Wrapper 架构的深度解构与 Python 实战
  • 深度解析 | 2026新范式:当“Token”取代比特币,成为真正的数字石油
  • 李南左日更3327:为什么员工都在摸鱼?是因为你曾经不信任他们
  • 终极Git与GitHub教程:从零开始掌握版本控制的完整指南
  • 【Xilinx Vivado时序分析/约束系列3】FPGA开发时序分析/约束-保持时间
  • 2026年靠谱的孝感钻井厂家推荐:十堰钻井/养殖场钻井公司精选 - 品牌宣传支持者
  • # 发散创新:用Go语言高效接入InfluxDB实现时序数据采集与可视化在现代微服务架构中,**时序数据