大模型应用-筑基期【06:Prompt调试与迭代方法】
W3 · 知识点06:Prompt调试与迭代方法
学习目标:以设备维修系统为场景,建立系统化的Prompt调试方法论,像调试代码一样调试提示词。
一、Prompt调试的核心原则
你的设备维修系统上线后,用户反馈"AI诊断的结果不靠谱"。这时候你不能瞎改Prompt,需要像debug代码一样,定位问题出在哪一句。
写Prompt → 用真实维修案例测试 → 分析输出哪里不对 → 定向修改 → 再测试 → 稳定可用二、设备维修场景的常见"症状"与"处方"
| 症状 | 可能的原因 | 解决方案 |
|---|---|---|
| 诊断太笼统:“可能是机械故障” | 没有要求具体分析到部件 | 加"请具体到哪个零部件" |
| 给出不存在的零件型号 | 模型幻觉 | 加"如果不确定型号,请标注’需确认’" |
| 安全注意事项遗漏 | 没有明确要求 | 加"必须列出操作前的安全确认步骤" |
| 维修步骤顺序混乱 | 没有约束结构 | 加"按操作先后顺序排列" |
| 每次都给出不同诊断 | Temperature太高 | 降低到0.1-0.3 |
| 用词过于专业,客户看不懂 | 角色设定不对 | 切换为"面对非技术客户的客服角色" |
三、实战迭代:设备故障诊断Prompt
第一轮:基础版(先跑通)
"分析这个设备故障:空压机运行时发出金属摩擦声,温度偏高。" → 输出:可能是轴承问题,建议检查。 ← 太笼统第二轮:加角色和约束
"你是一位资深设备维修工程师。请分析以下故障: 空压机运行时发出金属摩擦声,温度偏高。 要求: - 列出前3个最可能的故障原因 - 给出每个原因的排查方法 - 说明维修优先级" → 好多了,但格式不统一第三轮:加结构化输出
"你是一位资深设备维修工程师。请分析以下故障: 空压机运行时发出金属摩擦声,温度偏高。 请按以下格式输出: ## 故障分析 ### 可能原因(按可能性排序) 1. **[原因]** - 可能性:高/中/低 - 排查方法:___ - 所需工具:___ 2. ... ### 建议操作 1. 立即:___ 2. 短期:___ ### 安全提醒 - ___" → 格式稳定,内容专业。可以入库了。第四轮:处理边界情况
...前面的内容不变... 额外要求: - 如果信息不足以判断,明确指出需要补充哪些信息 - 不要编造不确定的设备参数 - 如果故障涉及安全风险,必须在开头用 ⚠️ 标注四、Prompt调试工具箱(设备维修版)
技巧1:让AI告诉你它需要什么信息
"我想让你帮我诊断设备故障。在开始之前,请告诉我你需要哪些信息才能做出准确的诊断?" AI回复可能包括: - 设备型号和生产年份 - 故障发生的时间和频率 - 最近一次保养时间 - 运行环境的温湿度 - 是否有异常声音/气味/振动 → 这就是你的维修工单应该收集的字段!技巧2:让AI自我审查诊断结果
"请检查你刚才的故障诊断: 1. 是否有不符合实际物理规律的判断? 2. 是否遗漏了安全风险? 3. 维修步骤的操作顺序是否合理? 如果有问题,请修正。"技巧3:用真实案例做回归测试
准备10个已知的设备故障案例(含标准答案),每次修改Prompt后全部跑一遍: | 案例 | 修改前 | 修改后 | 变化 | |------|--------|--------|------| | 轴承磨损 | ✅正确 | ✅正确 | 无 | | 电气短路 | ❌漏判 | ✅正确 | 改善 | | 液压油泄漏 | ✅正确 | ❌误判 | 退化! | → 发现修改导致了回归问题,需要调整五、动手练习
练习1:Prompt迭代日志
选一个设备维修任务(例如"根据故障描述生成维修工单"),记录迭代过程:
版本1: [Prompt] → [输出] → [问题:格式不统一] 版本2: [加了格式模板] → [变化] → [问题:字段缺失] 版本3: [加了字段完整性要求] → [最终输出] → [满意]练习2:建立设备维修Prompt测试集
收集10个不同类型的设备故障案例,作为你每次修改Prompt后的"单元测试"。
练习3:调试清单
设备维修Prompt调试检查清单: - [ ] 角色设定是否匹配目标用户(维修工/管理员/客户)? - [ ] 是否覆盖了安全风险提醒? - [ ] 输出格式是否可直接被系统使用? - [ ] 是否处理了信息不足的情况? - [ ] 是否在10个测试案例上全部通过?六、本知识点检验标准
- 能根据输出"症状"快速定位设备维修Prompt的问题
- 建立了自己的Prompt迭代方法论和测试集
- 完成至少1个Prompt从"不好用"到"稳定可用"的完整迭代记录
