大语言模型发展到今天，写提示词不仅是个体力活，还是一个技术活。提示词的措辞稍微改一下，性能波动 20-50% 是常有的事。那能不能让 LLM 自己改进提示词呢？
本文主要讲的就是这个，一个处理复杂推理任务的 Agent，经过几轮自动迭代，准确率从 34% 飙到 97%相对提升 184%。下面是完整的步骤：从环境搭建到代码实现，还包含了优缺点和适用场景。
什么是自动提示词优化
自动提示词优化有时也叫 Automatic Prompt Engineering（APE），核心思路是把写提示词当成优化问题来解。流程大概是这样：先拿一个初始提示词（哪怕写得很一般），在一批标注好的样本上跑一遍，用评分函数（精确匹配、BLEU、LLM-as-judge 之类的）算个分，然后让 LLM 生成新的候选提示词，挑表现好的继续迭代，直到分数不再涨为止。
2023 年的论文 "Automatic Prompt Optimization with Gradient-Free Methods" 把这套方法讲得比较系统。从工具层面将DSPy、LangChain 的 PromptOptimizer 都能干这个活，不过有一个专门的库叫 OPIK 。
OPIK + MetaPromptOptimizer 的特点
OPIK 这套东西比较吸引人的是完全开源，Apache 2.0 协议，商用也不花钱；可以纯本地跑，Ollama、LM Studio、任何 OpenAI 兼容的接口都行；自带追踪仪表板，功能类似 LangSmith 但是确是免费；API 设计简单，一个类就能搞定优化流程；评估指标随便你定义，只要能写成代码就行。
https://avoid.overfit.cn/post/be1860b7176b474b9389d88501402048