Java开发者别慌！用Spring Boot 3.4 + Ollama本地模型，5分钟搭建一个能调用外部工具的AI助手
Java开发者别慌！用Spring Boot 3.4 + Ollama本地模型，5分钟搭建一个能调用外部工具的AI助手
最近在技术社区看到不少Java开发者抱怨："现在AI应用全是Python的天下，我们这些写Java的是不是要被淘汰了？" 作为一个常年混迹在Spring生态的老兵，我想说：别急着转Python！Spring社区早就为我们准备好了趁手的AI开发工具链。今天我就带大家用Spring Boot 3.4和Ollama本地模型，快速搭建一个能调用业务工具的AI助手原型。这个方案最妙的地方在于——完全不需要Python环境，所有操作都在你熟悉的Java生态里完成。
1. 为什么Java开发者需要关注AI Agents
去年参加QCon时，我和几个大厂架构师聊到一个有趣的现象：虽然Python在AI模型训练领域占据主导，但在企业级AI应用落地时，Java反而成了更常见的选择。原因很简单——大部分企业的核心业务系统都是Java写的。想象一下这样的场景：当你的订单系统需要智能客服功能时，是要求所有Java工程师去学Python，还是直接在Spring项目里集成AI能力更现实？
Spring AI项目的出现完美解决了这个痛点。它不像Python的LangChain那样需要处理各种零散的依赖包，而是提供了标准化的Spring风格抽象。比如要切换AI模型提供商，你只需要换个starter依赖，业务代码几乎不用修改。这种设计理念特别适合需要长期维护的企业级应用。
2. 环境准备与基础配置
2.1 项目初始化
先用Spring Initializr创建项目，选择这些关键依赖：
<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-ollama-spring-boot-starter</artifactId> </dependency> <!-- 生产环境建议添加 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</artifactId> </dependency> </dependencies>记得在pom.xml中添加Spring的snapshot仓库，因为Spring AI还在快速迭代期：
<repositories> <repository> <id>spring-snapshots</id> <url>https://repo.spring.io/snapshot</url> </repository> </repositories>2.2 Ollama模型部署
在本地安装Ollama后，拉取适合Java生态的中小模型：
ollama pull qwen2:7b # 7B参数的轻量级模型然后在application.yml中配置模型参数：
spring: ai: ollama: base-url: http://localhost:11434 chat: options: model: qwen2:7b temperature: 0.7 # 控制生成结果的随机性避坑提示：如果遇到模型不支持工具调用的情况，可以尝试这些方案：
- 检查模型文档是否明确支持function calling
- 降低temperature值获得更稳定的输出
- 换用官方明确支持工具调用的模型版本
3. 实现工具调用能力
3.1 定义业务工具
我们先实现两个典型的企业场景工具：订单查询和库存检查。注意使用@Tool注解来声明工具元数据：
public class CommerceTools { @Tool(name = "orderQuery", description = "根据订单ID查询订单详情") public OrderDetail queryOrder( @Parameter(description = "订单编号") String orderId) { // 实际项目中这里会调用订单服务 return mockOrderService.getById(orderId); } @Tool(name = "inventoryCheck", description = "检查商品库存情况") public InventoryStatus checkInventory( @Parameter(description = "商品SKU") String sku, @Parameter(description = "仓库编码") String warehouse) { // 调用库存系统API return inventoryService.check(sku, warehouse); } }3.2 工具注册与调用
创建配置类将工具暴露给AI模型：
@Configuration public class ToolConfig { @Bean public ToolCallbackProvider toolProvider() { return ToolCallbackProvider.from( new CommerceTools(), new SystemTools() // 可以继续添加其他工具类 ); } }然后在Controller中只需几行代码就能完成智能调用：
@RestController public class AIController { private final ChatClient chatClient; public AIController(OllamaChatModel model, ToolCallbackProvider tools) { this.chatClient = ChatClient.builder(model) .defaultTools(tools) .build(); } @GetMapping("/ask") public String ask(@RequestParam String question) { return chatClient.prompt(question).call().content(); } }试试这些请求：
- "帮我查一下订单ID为12345的详情"
- "SKU为IPHONE15的货物在BJ仓库还有多少库存？"
4. 生产环境进阶配置
4.1 安全防护措施
在企业环境中，必须对工具调用添加权限控制。Spring AI提供了优雅的拦截机制：
@Bean public ToolCallbackProvider secureToolProvider() { return new ToolCallbackProvider() { @Override public ToolCallbacks getToolCallbacks() { return ToolCallbacks.from(new CommerceTools()) .withFilter((tool, request) -> { // 在这里实现权限校验逻辑 if (!securityContext.hasPermission(tool.name())) { throw new AccessDeniedException("工具调用未授权"); } return true; }); } }; }4.2 性能优化技巧
- 流式响应：对于耗时操作，使用Server-Sent Events(SSE)实现流式输出：
@GetMapping("/ask-stream") public Flux<String> askStream(@RequestParam String question) { return chatClient.prompt(question) .stream() .map(ChatResponse::getContent); }- 对话记忆：通过ChatMemory维护上下文：
@Bean public ChatMemory chatMemory() { return new InMemoryChatMemory(50); // 保留最近50条消息 } // 在Controller中注入使用 chatClient.prompt(question) .options(options -> options.withMemory(chatMemory)) .call();- 超时控制：在application.yml中配置：
spring: ai: ollama: client: request-timeout: 30s # 防止长时间阻塞5. 调试与问题排查
遇到工具调用失败时，可以开启详细日志：
logging: level: org.springframework.ai: DEBUG com.example.ai: TRACE常见问题解决方案：
- 工具未被识别：检查
@Tool的description是否准确描述了功能 - 参数解析失败：确保
@Parameter的name和description清晰明确 - Nashorn引擎报错：Java 15+需要额外添加依赖：
<dependency> <groupId>org.openjdk.nashorn</groupId> <artifactId>nashorn-core</artifactId> <version>15.4</version> </dependency>我在实际项目中发现，用qwen2:7b这类中小模型配合清晰的工具描述，效果往往比盲目追求大模型更好。有一次我们为客服系统接入AI时，经过精心设计的工具描述将准确率从72%提升到了89%。