RouteRAG：用特殊 Token 和强化学习构建可学习的 RAG 检索策略

RouteRAG 把多轮 RAG 重新建模为序列决策过程。

它不依赖固定的手工检索流水线或静态指令，而是学到一套策略：推理过程中的特殊 Token 可以触发检索动作。每一步，模型生成一个动作 Token——继续内部推理、经

1. <search>...</search>

发起检索，或经

1. <answer>...</answer>

输出最终答案。

1. <search>

内部用

1. [passage]

、

1. [graph]

或两者并列（如

1. [graph][passage]

）指定检索模式。

图 1 是理解全文的关键。早期基于 RL 的多轮 RAG 方法将推理与段落检索交替执行，奖励信号来自回答正确与否（结果奖励），对检索成本和效率没有做显式优化。

RouteRAG 把检索扩展到段落、图和混合三种模式，训练框架基于 GRPO 分两个阶段：第一阶段只优化正确性，第二阶段加入根据总检索时间计算的效率奖励，鼓励更有选择性的检索行为，同时不牺牲回答质量。

 

https://avoid.overfit.cn/post/abef1e92835748e7bd2f17499622c525