Google Agent白皮书提出一个重要概念：Agent Ops，是 DevOps/MLOps 在 Agent 时代的自然演进。
1. 测试不再是“output == expected”
- Agent 响应本身就是概率性的，同一个请求每次都可能略有不同
- 语言质量和任务完成度，往往难以用简单断言描述
- 传统单元测试模式不再适用，需要新的评估范式
2. 用 LM 做评测（LM-as-Judge）
- 搭建“评测集 + 评分 Rubric”：
- 覆盖核心业务场景与边缘案例
- 使用强模型（或专门微调模型）来打分：正确性、完整性、事实性、风格等
- 把评测结果作为版本上线的硬指标，而不是靠人工主观感觉
3. 像做 A/B 实验一样做迭代
- 定义业务 KPI：
goal completion rate、用户满意度、时延、成本、转化率等 - 每次改动都跑一遍 Golden Dataset + 线上 A/B 对比：
- 评估质量是否提升
- 监控延迟、成本、错误率是否可接受
4. 用 Trace 调试“思考过程”
- 借助 OpenTelemetry 等系统记录完整执行轨迹：
- 每次模型调用的 Prompt 与输出
- 调用了哪些工具、用什么参数、返回了什么
- 决策分支为何走错
- Trace 不是给用户看的，而是给工程团队做“行为剖析”和根因定位。
- （注：我们现在 Trace 使用比较多的是 LangFuse，可视化更好一点）
5. 人类反馈是最有价值的“训练数据”
- 每一次“差评”“工单”“人工纠正”，都是新的边界条件
- 系统化做法：
- 收集并聚合这些反馈
- 把高价值反馈转成新测试样本，加入评测集
- 既修复当前问题，又减少同类问题再出现的概率
从这个视角看，做 Agent 更像运营一个复杂的在线系统，而不仅仅是“部署了一个模型服务”。