当前位置：首页 > news >正文

我用Java经验做了次 AI 项目，最先失效的是旧方法

news 2026/8/4 5:55:16

《我用Java经验做了次 AI 项目，最先失效的是旧方法》看起来是个大话题，但真落到项目里，常常就是几个具体选择。下面我尽量按实际开发时会遇到的问题来讲。

摘要

上个月我把一个内部审批流程改成了AI Agent，Demo跑得很顺，一上线就崩了。

不是因为模型调错了，也不是因为Prompt写得烂。是权限没配好，日志找不到问题在哪，出了异常连回滚点都定位不到。

我花了一周时间才把这事理顺。今天想复盘的，不是怎么写Prompt，而是Java后端转大模型开发时，哪些经验还能用，哪些必须推翻重来。

你带的Java经验，哪些是真的值钱

先说好消息：你的后端经验没白给。

大模型应用开发，90%的活儿还是工程问题。

我见过太多人盯着模型调参、研究各种RAG技巧，结果项目一上线，权限、日志、异常处理全崩。这些是Java开发者的基本盘，你在Spring Boot里踩过的坑，在大模型项目里照样会踩。

具体说，以下三点最值钱：

第一，对HTTP协议的理解。大模型API本质就是REST接口，请求、响应、超时、重试，这些概念你熟得很。很多转大模型的人，连异步请求和同步请求的区别都搞不清楚，直接上手就踩坑。

第二，对配置管理的敏感度。模型Endpoint、API Key、超时时间、重试策略，这些配置怎么管、怎么热更新、怎么区分环境，Java开发者天生就有这个意识。

第三，对事务和一致性的直觉。 Agent执行多步操作时，怎么保证中间状态不丢失、出错了怎么回滚，这些思路和分布式事务是相通的。

但我必须说一个残酷的事实：这些经验在AI项目里，只值30%的分数。

剩下的70%，是你从来没碰过的东西。

你必须补齐的AI技能，顺序别搞反

我见过太多人上来就学LangChain，结果连基本概念都没搞懂。

我的建议是，按这个顺序来：

第一阶段：理解模型能力边界。别一上来就写代码，先搞清楚大模型能做什么、不能做什么。我推荐的做法是，用同一个Prompt，分别问GPT-4、Claude 3.5、国产模型，对比输出质量。你会发现，有些任务国产模型完全做不了，有些任务GPT-4会幻觉得很严重。

第二阶段：掌握Prompt工程基础。不是背模板，而是理解为什么有的Prompt有效、有的无效。我建议在Playground里反复测试，记录每次改动带来的变化。

第三阶段：学习RAG和工具调用。这是大模型应用的核心。RAG不是简单地把文档切块丢进去，工具调用也不是调个API就完事。我见过太多人把RAG做成了关键词搜索，把工具调用做成了串行执行，效率极低。

第四阶段：理解Agent架构。 LangGraph、AutoGen这些框架，本质都是状态机的实现。Java开发者学这个应该很快，因为你们天天和状态机打交道。

我踩过的最大坑是：以为学会了调API就能做项目。结果一上手才发现，权限管理、日志追踪、异常兜底，这些才是上线的生死线。

Spring AI和LangChain4j，怎么选

这两个框架我都用过，直接说结论：

如果你熟悉Java生态，选LangChain4j。

它的API设计和Spring Boot很像，概念直观，社区活跃。我推荐从官方文档的Quickstart开始，跑通一个最简单的对话应用。

如果你需要深度集成Spring生态，选Spring AI。

它和Spring Boot的整合很自然，配置方式你一看就懂。但它的抽象层级更高，有时候反而不方便调试。

我的建议是：先用LangChain4j跑通一个完整的项目，理解基本概念，然后再看Spring AI有没有更好的封装。

代码层面，我分享一个我实际用过的工具调用示例：

// 工具定义：查询订单状态 @Component public class OrderTool { @Tool(description = "根据订单号查询订单状态") public String getOrderStatus(@ToolParam("订单号") String orderId) { // 这里调用你的服务层 Order order = orderService.findById(orderId); if (order == null) { return "订单不存在"; } return String.format("订单%s的状态是：%s，更新时间：%s", order.getId(), order.getStatus(), order.getUpdateTime()); } } // 配置工具调用 @Configuration public class AiConfig { @Bean public ChatClient chatClient(ChatModel chatModel, OrderTool orderTool) { return ChatClient.builder(chatModel) .defaultTools(orderTool) .build(); } }

这段代码看起来简单，但有几个细节你必须注意：

第一，工具描述要写清楚。大模型是根据描述来决定是否调用工具的，描述写得不清楚，模型就不会调用。

第二，工具返回必须是字符串。大模型不理解复杂对象，你返回什么格式，它才能正确解析。

第三，工具调用有次数限制。我见过有人把工具调用放在循环里，结果模型反复调用同一个工具，直接超时。

从Demo到上线，你缺的那30%

这才是这篇文章最想讲的部分。

我的Agent项目上线崩了之后，我花了大量时间补这三块：权限、日志、可观测。

权限问题，我踩的坑是：以为用API Key就能控制访问，结果发现模型可以调用任何工具，包括删除数据的工具。我最后的解决方案是，在工具层加权限校验，而不是在模型层。

// 工具层权限校验 @Tool(description = "查询用户订单") public String queryUserOrders(@ToolParam("用户ID") String userId) { // 校验当前用户是否有权限查询这个用户的订单 if (!authService.hasPermission(userId, "order:query")) { return "无权访问"; } return orderService.findByUser(userId); }

日志问题，我踩的坑是：只打了模型调用的日志，没打工具调用的日志，出了问题根本定位不到。我的解决方案是，用MDC把TraceId贯穿整个调用链。

// 工具调用日志 @Aspect @Component public class ToolCallLoggingAspect { @Around("@annotation(tool)") public Object logToolCall(ProceedingJoinPoint joinPoint, Tool tool) throws Throwable { String traceId = MDC.get("traceId"); log.info("[Trace:{}] 调用工具: {}, 参数: {}", traceId, tool.description(), joinPoint.getArgs()); long start = System.currentTimeMillis(); Object result = joinPoint.proceed(); long cost = System.currentTimeMillis() - start; log.info("[Trace:{}] 工具返回: {}, 耗时: {}ms", traceId, result, cost); return result; } }

可观测性问题，我踩的坑是：不知道模型调用成功率、工具调用成功率、平均响应时间这些指标。我后来接入了Micrometer，把关键指标都暴露出来。

这三块补完之后，我的项目才真正能上线。