From Prompt Learning to SIPDO: A Shift Toward Closed-Loop Self-Evolution

 

 

从 Prompt Engineering 到 Prompt Learning / Prompt Optimization

这是最直观的一种做法。就是人自己去改 prompt。

这是更“研究化”“系统化”的做法。

• • prompt 能不能被优化？

  • 优化有没有方法论？

  • 能不能自动改？

  • 能不能持续变强？

  • 能不能形成闭环？

Prompt Engineering 是手工调参；Prompt Learning 是把调 prompt 本身做成一个研究领域。

Jeff: 有点类似大模型的 手动调参到自动调参的研究进化过程。

Prompt optimization 的发展，很像早年 parameter learning（参数学习）的发展。

 

自动化起步，Textual Gradients

核心特征：开始有“方向感”

ProTeGi：可以让 LLM 用自然语言给出一种“批评”或“改进建议”，把这种建议当成“文本梯度”来使用。

比如：

当前 prompt 在某类题上经常错。
那模型可能会给出类似反馈：

• • 你的 prompt 没有明确要求区分事实和推测

  • 你的 prompt 没要求先识别关键约束

  • 你的 prompt 容易让模型忽略反例

这些文字反馈本身不是数学梯度，
但它起到了类似梯度的作用：它告诉你“该朝哪个语义方向改”。

 

ProTeGi 像是在改“题目前的说明书”，
TextGrad 像是在改“整个做题过程里所有可写下来的东西”。

 

在普通深度学习里，被优化的是参数。
在 TextGrad 这种框架里，被优化的是一种“文本变量”。

例如：

例子 1：Prompt

原始 prompt：

Answer the question carefully.

反馈：

The instruction is too vague. Tell the model to identify constraints first and avoid unsupported assumptions.

更新后：

First identify all explicit constraints in the question, then answer carefully without making unsupported assumptions.

这里被优化的对象就是 prompt。

 

例子 2：一段推理链

原始推理：

The company revenue increased, so profits must have increased too.

反馈：

Revenue growth does not necessarily imply profit growth. The reasoning ignores cost changes.

更新后：

Revenue increased, but profit may or may not have increased because costs could also have risen.

这里被优化的对象不是 prompt，
而是中间推理文本。

 

例子 3：一段代码

原始代码：

 

if x:
　　return y / x

 

反馈：

This may fail when x is zero or None. Add input validation before division.

更新后代码就更稳。

这里被优化的对象变成了代码文本。

 

例子 4：一个 agent 的执行计划

原计划：

1. 1. Search web

   2. Summarize result

   3. Answer user

反馈：

The plan lacks a verification step and may hallucinate if the search results are weak.

更新后：

1. 1. Search web

   2. Check source quality

   3. Summarize result

   4. Verify key claims

   5. Answer user

这里被优化的是计划文本。

 

更像是一个Agent self-improvement architecture。

 

SIPDO: Self-Improving Prompts through Data-Augmented Optimization

论文把它定义为一种把合成数据生成引入 prompt 优化过程的 closed-loop framework。

用一句最人话的话来说：

SIPDO 不是只在旧题上改 prompt，
它会主动造出能打穿当前 prompt 的新题，
再根据这些失败去修 prompt，
然后继续造更难的题，继续修。
这就形成了一个闭环。

这就是 SIPDO 最核心的思想。