当前位置：首页 > news >正文

Spring WebFlux + AI 流式输出深度解析：Spring AI 与 LangChain4j 效果差异溯源

news 2026/6/9 8:48:01

一、实测现象 & 核心代码展示

1. 方案一：Spring AI 实现（浏览器无明显流式）

二、核心原理：同为 text/html，流式效果为何差异巨大？

1. LangChain4j：原生细粒度实时推送

2. Spring AI：框架批量聚合推送

3. 关键补充：delayElements 作用

三、Spring AI 与 LangChain4j 全方位核心对比

四、两种响应类型对比：text/html VS text/event-stream

五、不同测试工具表现差异

1. 浏览器地址栏

2. Apifox

六、全文总结

在基于Spring Boot + Spring WebFlux对接大模型实现逐字流式对话的开发过程中，我遇到了一个非常典型且容易困惑的问题：两套接口均使用text/html;charset=UTF-8作为响应类型，且都在浏览器地址栏进行测试，但流式表现截然不同：

基于Spring AI ChatClient实现：内容一次性全部输出，看不到逐字流式效果；
基于LangChain4j 原生回调实现：逐段输出，流式观感十分明显。

除此之外，开发中还陆续碰到SSE 接口中文乱码、浏览器与 Apifox 测试表现不一致、添加延迟后流式效果恢复等问题。

本文结合真实业务代码、框架底层推送机制、HTTP 分块传输、客户端解析规则，新增 Spring AI 与 LangChain4j 核心对比，全方位拆解所有现象背后的原理，同时给出不同场景下的代码选型与生产最佳实践。

一、实测现象 & 核心代码展示

两套接口响应类型完全一致、均基于 WebFluxFlux实现流式，仅框架与编码方式不同。

1. 方案一：Spring AI 实现（浏览器无明显流式）

package org.example.springaixushu.controller; import jakarta.servlet.http.HttpServletResponse; import org.springframework.ai.chat.client.ChatClient; import org.springframework.ai.chat.model.ChatResponse; import org.springframework.ai.converter.BeanOutputConverter; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.http.MediaType; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; import reactor.core.publisher.Flux; import java.time.Duration; import java.util.stream.Collectors; @RestController @RequestMapping("/ai") public class AiController { @Autowired private ChatClient chatClient; @GetMapping(value = "/stream", produces = "text/html;charset=UTF-8") public Flux<String> streamChatResponse(@RequestParam String question) { return chatClient.prompt(question) .stream() .content(); // .delayElements(Duration.ofMillis(10)); } }

2. 方案二：LangChain4j 实现（浏览器流式效果明显）

package org.example.langchain4j_springboot.controller; import dev.langchain4j.community.model.dashscope.QwenChatModel; import dev.langchain4j.community.model.dashscope.QwenStreamingChatModel; import dev.langchain4j.model.chat.response.ChatResponse; import dev.langchain4j.model.chat.response.StreamingChatResponseHandler; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.boot.web.server.ErrorPageRegistrar; import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; import reactor.core.publisher.Flux; @RestController @RequestMapping("/ai") public class ChatControler { @Autowired QwenChatModel qwenChatModel; @Autowired QwenStreamingChatModel streamingChatModel; @RequestMapping(value = "/stream_chat",produces ="text/html;charset=UTF-8") public Flux<String> test3(@RequestParam(defaultValue="你是谁") String message) { return Flux.create(sink -> { streamingChatModel.chat(message, new StreamingChatResponseHandler() { @Override public void onPartialResponse(String partialResponse) { sink.next(partialResponse); // 逐次返回部分响应 } @Override public void onCompleteResponse(ChatResponse completeResponse) { sink.complete(); // 完成整个响应流 } @Override public void onError(Throwable error) { sink.error(error); // 异常处理 } }); }); } }