当前位置：首页 > news >正文

评审会上，我像个走错会议室的人

news 2026/7/31 18:36:12

那场评审会，我记了三页笔记，没一个名词认识

公司上 AI 客服项目，我作为 PM 第一次参加算法评审会。算法同学对着 PPT 讲："这个版本的幻觉率压到了 5% 以内，召回率 82%，badcase 主要集中在多轮指代……"我握着笔，笔记本上记了三页，回头看，没一个名词敢说自己真懂。

产品经理的例行环节是"PM 提需求"。轮到我，我说了句"希望回答更人性化一点"。算法同学停了两秒，客气地问："人性化具体指什么？是语气，还是拒答策略？评测集里这类 case 加几条？“我答不上来，说了句"我回去想想”，坐下了。

会议室十几个人，没人笑我。但那种"我明明是 PM，却插不上话"的安静，比笑还刺耳。

我这条路，本来就比别的 PM 窄一截

我叫小雨，27 岁，在杭州一家电商公司。一年半前从运营转 PM，当时觉得自己转了型：会画原型、会写 PRD、会跟上线，需求评审也能讲两句。

但 AI 项目一来，我那点家底立刻见底。以前做活动页需求，我说"按钮放左边转化高"，研发照做就行；现在做 AI 客服，我说"回答要准"，算法问我"准的标准是什么、怎么测"，我哑口无言。PRD 被打回来两次，批注写着同一个问题：“验收标准不可量化，你想清楚了吗？”

那段时间我特别怕开会。需求文档写得越厚，心里越虚——文档里的每一句"智能"“精准”“友好”，到了评审会都会被打回原形。

第三版 PRD 被打回来那天，研发负责人在文档末尾留了一行原话："小雨，你这版需求，模型做不到的部分占一半，你想清楚了吗？"我盯着那行字看了很久。运营转 PM 那一年半攒下的自信，碎得很彻底。

卡住的不是我，是一大批"半路 PM"

后来我跟同行聊，发现这不是我一个人的窘境。电商、零售这些行业今年扎堆上 AI 客服、AI 导购，项目是真金白银地投，但大量像我这样运营转岗、业务出身的 PM，全卡在同一个地方：能写需求，没法跟算法对话。

某招聘平台的数据也印证这一点：2025 年 AI 相关 PM 岗位里，明确要求"理解 RAG、评测集、幻觉率等基本概念"的占比过半。说白了，行业对 PM 的要求从"把需求写清楚"升级成了"把标准定清楚"。定不了标准的人，在评审会上天然没有话筒。

但反过来想，这其实是好消息：名词是有限的，标准是学得来的。算法同学懂模型，但他们不懂"顾客说’东西不太行’到底是要退款还是要换货"——那正是我们运营出身的人最熟的。

我痛补了三个月，就干三件事

先降恐惧：转 AIPM 不用会写代码，但要懂模型能力边界，外加一套"评测思维"。我三个月就做了三件事。

第一件，把评审会的名词全部扫盲（第 1-3 周）。我把那场会上记下的三页名词一个个啃：幻觉率，就是模型一本正经编答案的比例；召回率，是知识库里该捞出来的答案真被捞出来的比例；Token，是模型计费的单位。我还搞懂了 RAG 的原理：回答前先去知识库检索，让模型照着资料答，而不是凭记忆编。三周后，评审会我能听懂八成了。

第二件，亲手建一套评测集（第 4-8 周）。我从客服聊天记录里抽了 100 条真实顾客问题，每条标好"标准答案"和"必须拒答的坑"，做成评测集。模型每改一版，跑一遍这 100 条，准确率、幻觉率、拒答正确率三个数自动出来。PRD 里那句"回答要准"，终于变成了"评测集准确率不低于 85%"。研发看到这条需求时说：“这个能验收。”

建评测集的过程其实吃的是运营老本。哪类问题顾客最常问、哪种说法是在要赔偿、哪句话暗示要投诉，我比算法熟得多。他们建的是"题"，我建的是"考点"。我第一次意识到，运营那几年不是白干的，只是以前没人教我怎么把它换算成 AI 项目的语言。

第三件，学会用 LLM-as-Judge 找 badcase（第 9-12 周）。光靠人看 100 条回答太累，我学会让另一个模型当裁判，按我定的标准自动打分，把低分的 badcase 捞出来分类：是知识库缺内容，还是检索没命中，还是 Prompt 没约束住。每类 badcase 对应不同的改法，我提的改进需求第一次带上了"归因"。

三个月的笨功夫也有笨办法：我把每个名词都写成便利贴贴在显示器边上，开会听不懂就记下来，当晚必须查明白。便利贴从三十张贴到五十张，又一张张撕掉。撕到第五十张的时候，我基本不用记了。