当前位置: 首页 > news >正文

准确率和召回率的平衡点

目录
  • 🚪 决策阈值和 Agent 的“信心”
    • 1. 追求高准确率(Precision)
    • 2. 追求高召回率(Recall)
  • 总结:二者间的权衡曲线

您的问题非常关键,这是理解所有分类模型(包括智能体 Agent)性能评估时最核心的逻辑之一:准确率(Precision)和召回率(Recall)在大多数情况下存在此消彼长的关系,即权衡(Trade-off)。

我们用一个“门槛”“决策阈值”(Decision Threshold)的例子来直观地理解它。

🚪 决策阈值和 Agent 的“信心”

想象您的合同审查 Agent 在判断一份合同是否是“风险”时,会给出一个 信心分数(Confidence Score),范围是 $0$ 到 $100%$。

  • 您必须设置一个“门槛”: Agent 只有在信心分数超过这个门槛时,才会将合同标记为“风险”。

1. 追求高准确率(Precision)

当您要求准确率达到 $99%$ 时,您实际上是在告诉 Agent:“你标记的风险中,几乎不能有错!”

  • 操作: Agent 必须将决策门槛(Threshold)设置得非常高,例如:$95%$。

    • Agent 行为: 只有当 Agent 认为一份合同有 $95%$ 以上的可能性是风险时,它才敢标记它。
  • 结果分析:

    • 准确率 (Precision) 极高: 标记的风险很少出错(FP 极少)。因为 Agent 只标记那些它超级确定是风险的合同。
    • 召回率 (Recall) 下降: 许多真正的风险合同(例如信心分数在 $80%$ 到 $94%$ 之间)因为没有达到这个高门槛,被 Agent 错误地归类为“安全”。这些就是漏报(假阴性,FN)。门槛越高,漏掉的真风险就越多,召回率自然就下降了。

2. 追求高召回率(Recall)

当您要求 Agent 尽量不放过任何风险时,您是在告诉 Agent:“哪怕只是有点怀疑,也要标记出来!”

  • 操作: Agent 必须将决策门槛设置得非常低,例如:$50%$。

    • Agent 行为: 只要 Agent 认为一份合同有 $50%$ 以上的可能性是风险,它就会标记它。
  • 结果分析:

    • 召回率 (Recall) 极高: 大多数真正的风险合同都被 Agent 成功标记了(FN 极少)。
    • 准确率 (Precision) 下降: Agent 标记的风险中会包含大量误报(FP 激增)。因为许多实际上是安全的合同(例如信心分数 $51%$)也被 Agent 标记为风险。

总结:二者间的权衡曲线

准确率和召回率就像跷跷板的两端。你永远无法在不付出代价的情况下,让两者同时达到 $100%$。

目标倾向 Agent 的决策门槛 (Threshold) 结果
倾向准确率 (如 $99%$ Precision) (比如 $95%$) 牺牲召回率:减少了误报(FP),但增加了漏报(FN)。
倾向召回率 (如 $95%$ Recall) (比如 $50%$) 牺牲准确率:减少了漏报(FN),但增加了误报(FP)。

在合同审查中,您需要找到一个平衡点,这个点通常是召回率略高于准确率,以确保不会漏掉那些代价高昂的真风险。

http://www.jsqmd.com/news/71239/

相关文章:

  • 按DDD领域分析Openfeign
  • Python threading.Lock() thread lambda
  • Python 面向对象编程 (OOP) 核心:类、封装与继承
  • 12/10
  • 完整教程:分享一个基于服务端地图服务裁剪的方法
  • Nginx安全配置
  • 并发编程的三大基石:从底层逻辑聊透“同步、互斥与分工”
  • 个人电脑本地私有知识库解决方案:访答知识库全面解析
  • 【Agent】MemOS 源码笔记---(4)---KV Cache
  • 2025.12.10
  • 大数据存储新范式:RustFS与Hadoop生态无缝集成实战指南
  • Ai元人文构想:黑箱之渡,白箱之锚——大行为模型践行意义行为原生
  • 在 .Net 8 WEBAPI 中实现实体框架的 Code First 办法
  • 60
  • Coppersmith 学习笔记
  • python —— 树的遍历 —— 深度优先遍历(先序、中序、后序) —— 非递归方式(使用栈数据结构进行辅助)
  • 【SQL技术】不同数据库引擎 SQL 优化方案剖析 - 详解
  • IntelliJ IDEA 最常用的快捷键
  • C++ 循环结构:控制程序重复执行的核心机制 - 教程
  • ASP.NET 实战:用 CSS 选择器打造一个可搜索、响应式的书籍管理系统 - 教程
  • Python list all files in dir recursivelly
  • python —— 树的遍历 —— 深度优先遍历(先序、中序、后序)
  • springAI集成智谱--流式输出
  • python —— 满二叉树的广度优先遍历
  • 切比雪夫多项式与数值最优化算法收敛率的关系
  • 恰好被k个区间覆盖的点的数量
  • Day59(29)-F:\vs_ai_work\vue-tlias-management
  • windriver 第5章:USB 概述
  • Airflow - from airflow import DAG and from airflow.sdk import DAG, which one is better?
  • langchain工具上下文