CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty
一、文章主要内容
本文针对现有大语言模型（LLM）智能体基准测试集中于理想场景下的任务完成率，却忽视真实应用中可靠性的问题，提出了面向车载语音助手领域的基准测试框架CAR-bench。该框架以多轮交互、工具使用、领域政策约束为核心，模拟真实车载环境的复杂性，系统评估LLM智能体的一致性、不确定性处理能力和能力边界认知。
CAR-bench包含六大核心组件：LLM模拟用户（带有人格属性和任务指令）、19项领域政策、58个跨导航、车辆控制等六大领域的互联工具、动态状态变量、固定上下文变量及多维度数据库（涵盖48个欧洲城市、130K兴趣点、170万路线等数据）。测试任务分为三类：基础任务（100项，验证任务完成与政策合规）、幻觉任务（90项，测试工具/信息缺失时的边界认知）、歧义消除任务（50项，评估通过内部信息收集或用户澄清解决模糊请求的能力）。
实验结果显示，即使最先进的推理型LLM也存在显著性能差距：所有模型的任务潜在能力（Pass@3）与稳定可靠性（Pass3）脱节，GPT-5在歧义消除任务中Pass@3达68%但Pass3仅36%；任务难度呈现基础任务>幻觉任务>歧义消除任务的梯度，无模型在歧义消除任务中Pass^3超过50%；思考型模型整体表现优于非思考型模型，但仍受困于“完成请求优先于遵守政策”的固有张力，常见过早行动、政策违规、信息捏造等错误。
二、创新点
- 场景与框架创新：首个聚焦车载助手这一安全关键领域的动态基准，整合多轮对话、政策约束、互联工具和动态环境数据，填补了真实场景下LLM智能体可靠性评估的空白。
- <