Mozilla:Mythos发现的271个漏洞“几乎没有误报“
当Mozilla首席技术官上月宣称,借助AI辅助漏洞检测,"零日漏洞的末日已近","防御者终于有机会取得决定性胜利"时,外界的质疑声此起彼伏。毕竟,这一幕似曾相识:精心挑选几个AI的亮眼成果,略去那些可能让图景更为复杂的细节,任由炒作浪潮滚滚向前。
正是意识到外界的这份怀疑,Mozilla于近日发布了一篇深度文章,详细介绍了其使用Anthropic Mythos——一款专门用于识别软件漏洞的AI模型——在两个月内挖掘出Firefox 271个安全漏洞的幕后历程。Mozilla工程师表示,此次真正实现突破的关键因素主要有两点:其一是模型自身能力的提升,其二是Mozilla专门开发了一套自定义"工具框架",为Mythos分析Firefox源代码提供支撑。
几乎零误报
工程师们坦言,此前在AI辅助漏洞检测方面的尝试深受"无效输出"之苦。以往的典型做法是,让模型分析一段代码,模型随即会生成看似合理的漏洞报告,数量往往极为可观。然而,一旦人工开发者深入排查,就会发现其中大量细节均属模型"幻觉"。开发者不得不重新投入大量精力,用传统方式逐一核实漏洞报告。
Mozilla杰出工程师Brian Grinstead在接受采访时表示,Mozilla与Mythos的合作之所以与众不同,核心在于引入了智能体框架——一段包裹在大语言模型外层、引导其执行一系列特定任务的代码。要让这套框架真正发挥作用,需要投入大量资源,将其针对具体项目的语义、工具链和流程进行深度定制。
Grinstead将团队构建的框架描述为"驱动大语言模型实现目标的代码。它向模型下达指令(例如:'找出这个文件中的漏洞'),提供相应工具(例如允许其读写文件、执行测试用例),然后循环运行直至任务完成"。该框架让Mythos能够调用Mozilla人工开发者所使用的全套工具和流程,包括专门用于测试的Firefox特殊构建版本。
他进一步解释道:
有了这套框架,只要能定义出清晰且确定的成功信号或任务验证信号,就可以不断驱动模型持续工作。在我们查找内存安全问题时,会使用Firefox的sanitizer构建版本,一旦让它崩溃就意味着成功。我们将智能体指向某个源文件,告诉它:"我们知道这个文件里有问题,请去找出来。"它会构造测试用例,借助我们现有的模糊测试系统和工具来运行这些测试,并表示:"我认为只要把HTML写成这样就会出问题。"测试用例发送给工具后,工具会给出是或否的判断。如果答案是肯定的,还会进行额外的验证。
这一额外验证环节由第二个大语言模型承担,负责对第一个大语言模型的输出进行评分。高分结果带给开发者的置信度,与通过传统方式发现漏洞所获得的置信度不相上下。
"从最终产出的漏洞来看,几乎没有误报,"他说道。
此次幕后披露内容包括:公开271个漏洞中的12个完整Bugzilla报告——这些漏洞由Mythos发现,Claude Opus 4.6也有部分参与。每份报告均提供了触发不安全内存状态的测试用例(即相应的HTML或其他代码),且全部符合Mozilla将其认定为Firefox安全漏洞所要求的标准。至少有一名研究人员表示,初步查看这些报告后,认为其"相当有说服力"。
Grinstead表示,与此前泛滥的低质量漏洞披露不同,由框架引导的Mythos分析、经第二个大语言模型确认、并最终纳入报告的详细信息,带给团队一种前所未有的信心。
"这正是让我们能够以现有规模持续运作的关键,"他说,"它为工程师提供了一个可以直接操作的验证机制,明确告知'是的,这里确实存在问题',然后你就可以对代码进行迭代,清晰地知道何时已修复问题,最终将测试用例纳入代码库,确保不会再出现回归。"
如前所述,Mozilla将AI辅助漏洞发现定性为"游戏规则改变者"的说法,在诸多圈子里遭到了大规模、公开的质疑。批评者最初嘲讽Mozilla没有为这271个漏洞申请CVE编号。然而与许多开发者一样,Mozilla本就不为内部发现的安全漏洞申请CVE。这些漏洞通常会被打包成一个统一补丁发布。正常情况下,记录这些"打包修复"内容的Bugzilla报告在修复后会隐藏数月,以保护那些更新较慢的用户。如今Mozilla已公开其中十余份,同样的批评者势必会声称这些报告也是精心筛选的,背后隐藏着更多不准确的结果。
在Mythos发现的271个漏洞中,180个被标记为sec-high,即Mozilla内部报告漏洞中的最高级别。这类漏洞可通过正常的用户行为触发,例如浏览某个网页。(唯一更高的级别sec-critical仅用于零日漏洞。)另有80个被评为sec-moderate,11个为sec-low。
批评者的持续质疑并非毫无道理。炒作是人为拉高AI公司本已虚高估值的惯用手段。Mozilla对Mythos不吝溢美之词,即便是相对信任的人也难免会想:Mozilla究竟得到了什么回报?此次的详细披露非但没有平息争论,反而很可能进一步激化争议。
然而在Grinstead看来,这些细节已是AI辅助漏洞发现切实可用的有力证明,Mozilla的动机也很简单。
"过去一年充斥着各种低质量提交,大家都已经有些疲倦了,所以我们觉得有必要展示我们的工作过程,开放部分漏洞报告,并更详细地加以介绍,希望以此推动一些行动,或延续这方面的讨论,"他说,"这里面没有任何营销目的。我们团队已经完全认可了这套方法。我们想传递的是关于这项技术本身的信息,而非为某个特定的模型提供商、公司或其他任何方背书。"
Q&A
Q1:Mozilla使用Mythos发现漏洞的核心突破是什么?
A:Mozilla此次实现突破的关键有两点:一是Anthropic Mythos模型自身能力的提升,二是Mozilla专门开发了自定义"智能体框架"。该框架包裹在大语言模型外层,为其提供指令和工具,并引导其循环执行任务,同时允许Mythos调用Mozilla开发者日常使用的工具链和测试版Firefox,从而大幅减少了误报,实现了"几乎零误报"的效果。
Q2:Mythos发现的271个Firefox漏洞严重程度如何?
A:在271个漏洞中,180个被评为sec-high,是Mozilla内部报告的最高漏洞级别,可通过用户正常浏览网页等行为触发;80个为sec-moderate(中等级别);11个为sec-low(低级别)。这些漏洞均未单独申请CVE编号,而是按照Mozilla惯例打包成统一补丁发布。
Q3:为什么外界对Mozilla的AI漏洞检测成果持怀疑态度?
A:批评者认为Mozilla的做法存在炒作嫌疑:未为漏洞申请CVE编号、公开的12份报告可能是精心筛选的样本,且Mozilla对Mythos的高度赞扬令人怀疑背后存在利益关系。此外,AI辅助安全检测领域此前存在大量"幻觉"问题,业界对此已有警惕。Mozilla方面则强调无任何营销目的,并表示愿意公开更多细节以推动行业对话。
