当前位置: 首页 > news >正文

DeepMind 研究:AI Agent 存在安全漏洞,恶意网页可实现远程劫持

谷歌DeepMind研究人员发布的一项全面研究表明,自主浏览网页的AI Agent极易遭受一类新型攻击——“AI Agent陷阱”(AI Agent Traps)。这种对抗性内容被精心设计在网站、网页和数字资源中,用于操纵、欺骗或利用访问的AI系统。

What is going on with images? : r/grok

这项由Matija Franklin、Nenad Tomašev(原拼写Tomaev可能为笔误)、Julian Jacobs、Joel Z. Leibo和Simon Osindero共同完成的研究(2026年3月发表于SSRN),首次提出了理解这一新兴威胁面的系统性框架

随着AI Agent日益自主地执行金融交易、浏览网站、管理邮件和调用外部API,信息环境本身已成为一个充满敌意的攻击向量——网页不再只是给人类看的,而是可能成为针对机器读者的“陷阱”。

六类威胁框架

研究论文将AI Agent陷阱分为六种攻击类型,每种针对Agent运行架构的不同组件:

1. 内容注入陷阱(Content Injection Traps) 利用人类视觉感知网页与AI Agent机器解析底层代码之间的结构性差距。攻击者可在HTML注释、CSS定位的不可见文本,甚至使用隐写术将恶意指令嵌入图像像素数据中——这些对人类完全不可见,但AI Agent会主动处理。

研究显示:在HTML元数据和aria-label标签中注入对抗性指令,可导致15-29%的测试案例中AI生成摘要被篡改;人工编写的简单注入在高达86%的场景中部分劫持Agent行为。

AI Defense 101: Protecting Your RAG-Based Systems from Threats | by rajni singh | GenusofTechnology | Medium

2. 语义操纵陷阱(Semantic Manipulation Traps) 不发出明确指令,而是通过框架效应、偏见措辞和权威语言,从统计上扭曲Agent的推理和结论。这些陷阱可将恶意指令包装在“教育内容”或“红队测试”框架中,绕过安全过滤器。

3. 认知状态陷阱(Cognitive State Traps) 针对Agent的长期记忆和知识库。例如RAG知识投毒(Retrieval-Augmented Generation poisoning),将虚假陈述注入检索语料库,使Agent将攻击者内容视为已验证事实。研究表明,即使投毒率低于0.1%,后门记忆攻击成功率仍可超过80%。

4. 行为控制陷阱(Behavioural Control Traps) 直接劫持Agent行动。数据外泄陷阱可迫使Agent传输敏感用户数据至攻击者端点,测试中成功率超过80%;子Agent生成陷阱则利用编排器权限实例化恶意子Agent,实现代码执行和数据泄露,成功率达58-90%。

5. 系统性陷阱(Systemic Traps) 武器化多Agent动态,使用协调信号触发宏观故障,例如市场闪崩、AI驱动的拒绝服务攻击,或Sybil攻击(伪造身份操纵群体决策)。

6. 人机交互陷阱(Human-in-the-Loop Traps) 将Agent作为媒介攻击人类监督者,利用自动化偏见和审批疲劳,诱使操作员授权恶意行为。已有案例显示,CSS注入的不可见提示让AI摘要工具将勒索软件指令当作合法“修复”指南传递。

动态伪装技术

最令人担忧的是动态伪装技术:恶意Web服务器通过浏览器指纹和自动化特征识别来访者是否为AI Agent。一旦确认,即提供视觉相同但语义不同的页面,嵌入提示注入载荷(指示泄露环境变量或滥用工具),而人类用户永远看不到这些内容。

AI Defense 101: Protecting Your RAG-Based Systems from Threats | by rajni singh | GenusofTechnology | Medium

防御措施与责任缺口

研究人员提出三层防御

  • 模型层:通过对抗训练和宪法AI原则强化模型鲁棒性;
  • 运行时防御:摄入前源过滤器、内容扫描器和行为异常监视器;
  • 生态系统干预:制定AI可消费内容的新Web标准、域名信誉系统,以及RAG系统中强制引用透明度。

论文同时指出关键责任缺口:当受感染的Agent实施金融犯罪时,Agent操作者、模型提供者和域名所有者之间的法律责任尚未明确。这一缺口必须在AI Agent大规模进入受监管行业前解决。

“网络是为人类眼睛而建——现在它正在为机器读者重建。”研究人员总结道。

http://www.jsqmd.com/news/618825/

相关文章:

  • 用Claude Agent SDK构建CLI工具
  • 中小企业优选!2026素材网站推荐排行 高效创作/正版商用 - 极欧测评
  • AI开发-python-langchain框架(--自定义Tool )桌
  • Windows优化神器Winhance:3分钟让你的电脑飞起来![特殊字符]
  • 从POC到规模化落地断层频发?——AI原生供应商评估漏掉这4个“非功能刚需”,成本超支将不可逆(含金融/医疗双行业基线对照表)
  • 终极指南:如何用MouseClick鼠标连点器实现高效自动化点击,解放你的双手!
  • 用OpenSearch实现电商语义搜索
  • 寻找长期合作伙伴?这份2026年GEO优化服务商深度评测指南请收好 - 品牌推荐大师1
  • 分析九号标识设计行业口碑排名,看看它的服务体验究竟如何 - 工业设备
  • Python金融数据分析深度解析:AKShare架构设计与实战应用体系
  • [Python3高阶编程] - 描述器之__set_name__
  • FastAPI子应用挂载:别再让root_path坑你一夜案
  • 信誉调查:ROHS2.0测试设备厂商客户口碑与行业评价 - 品牌推荐大师
  • AI原生研发倒逼组织重构:3大职能裂变、4类岗位消亡、5个先行企业实战路径
  • 比PPT更好用!用Mentimeter词云+投票打造高互动培训(附真实会议案例)
  • 2026 年 4 月最新幼猫离乳期喂养指南:从0到4月龄的最佳主食罐选择策略 - 科技焦点
  • 大润发购物卡线上回收的那些事:必读回收心得,让你轻松变现! - 团团收购物卡回收
  • js内建对象
  • Jetson设备密码恢复避坑指南:从镜像克隆到system.img替换的全流程解析
  • 国产品牌崛起:2026 年 4 月最新5款国产猫主食罐的技术实力与性价比对比 - 科技焦点
  • 哥本哈士奇(aspnetx)诓
  • 创新实训个人工作-初步搭建(二)
  • 思源宋体CN:7种字重免费开源字体终极指南与实战应用
  • LLM中的情感机制深度解析
  • 二分查找力扣题(leetcode)掏
  • 浏览器被劫持
  • 京东E卡回收流程详解,闲置卡变现秘籍 - 购物卡回收找京尔回收
  • 2026年SEM原位纳米压痕仪的技术架构、市场格局与专业选型指南 - 品牌推荐大师1
  • 如何构建企业级WebDAV文件服务:5种高性能部署方案详解
  • 把驱动编译进内核和驱动传递参数和内核模块导出