LLM应用中Prompt监控与告警实践：Opik与ZenML集成

1. 为什么LLM应用需要生产级监控？

LLM应用与常规软件不同，其输出具有非确定性，容易出现幻觉、偏离上下文甚至有毒内容。同时，每次推理都消耗Token，成本不可忽视。若没有完善的监控，上述问题只能被动发现，严重时可能影响用户体验或造成经济损失。因此，生产级LLM应用必须引入监控与告警，以实时掌握应用状态，及时发现异常并快速响应。

2. 监控基础：借助Opik追踪Prompt

Opik是Comet ML推出的开源LLM监控工具，可以轻松集成到Python应用中。其核心是@track装饰器：被装饰的函数调用会自动记录输入、输出、耗时、Token数量等关键指标。

fromopikimporttrack@trackdefgenerate_answer(user_input:str)->str:# 调用LLM APIresponse=llm_client.complete(prompt=user_input)returnresponse.text

通过装饰器，Ops团队可以在Opik仪表盘中查看每一次调用的全貌，包括传入的Prompt、返回的答案、模型参数、延迟等。这使得排查问题变得简单直接。

3. 全链路追踪示例

一个典型的RAG流程通常包含多个步骤：

• 用户输入 → 查询重写 → 上下文检索 → Prompt组装 → LLM调用 → 后处理。

若只监控最终LLM调用，很难定位问题出在检索阶段还是生成阶段。Opik支持嵌套追踪：只要在每个关键步骤的函数上都加上@track，即可形成完整调用链路（Trace）。

fromopikimporttrack@trackdefrewrite_query(query:str)->str:returnrewritten_query@trackdefretrieve_context(rewritte