36.人工智能实战：大模型配置怎么管理？Prompt、模型参数、路由策略的版本化与热更新方案

人工智能实战：大模型配置怎么管理？Prompt、模型参数、路由策略的版本化与热更新方案

一、问题场景：线上回答突然变了，却没人知道改了什么

大模型系统里，很多关键逻辑不是写在代码里，而是写在配置里。

例如：

1. system prompt 2. temperature 3. max_tokens 4. top_k 5. rerank 阈值 6. 模型路由 7. 降级策略 8. 安全规则

这些配置一改，系统行为就可能改变。

我遇到过一个真实问题：

某天线上用户反馈：

AI 回答突然变得很啰嗦，而且不再引用资料。

排查代码发现没有发布。

最后查到是有人直接改了数据库里的 Prompt 配置：

原 Prompt：必须引用资料来源 新 Prompt：请自然友好地回答

由于没有配置版本、没有审核、没有发布记录，排查花了很久。

这类问题说明：

Prompt 和模型参数不是普通配置，它们就是大模型系统的生产逻辑。

本文解决的问题是：