异步 RAG 延迟拆解：排队、检索、生成分别计时

异步 RAG 延迟拆解：排队、检索、生成分别计时

异步化不会自动降低端到端延迟，它只是改变等待发生的位置。先把排队、查询改写、检索、重排、生成和输出校验分别计时，再决定优化哪一段。

先界定问题

记录请求进入和离开每一阶段的时间，同时保留取消、超时和空检索路径。并发数必须与连接池、模型限额和队列上限一起设计。

处理与验证

先拆清主链路再谈优化。请求、检索、模型调用和输出校验应分别观测；任何优化都要保留关闭开关和回退路径。

分别构造正常检索、空检索、检索超时、生成超时和客户端取消，记录请求进入与离开各阶段的时刻。调整队列长度、连接池或并发限制时一次只改一个，确认取消能传到正在等待或执行的下游调用。

端到端数据要同时给出排队、检索、重排、生成和输出校验的分段分布，并说明并发、队列上限、模型与检索配置。若某段优化把等待推到另一段，或超时后任务仍在运行，就不能据总平均值判断有效。